▶ Kettle
探索丶挑战丶突破
不积跬(kuǐ)步,无以至千里;不积小流,无以成江海。
展开
-
kettle 设置临时变量使用-默认当前日期
kettle 设置临时变量使用-默认当前日期kettle 设置临时变量使用-默认当前日期kettle 设置临时变量使用-默认当前日期使用场景kettle在同步数据中需要使用当前日期为字段,同步出入到数据库中,或者其他的默认变量;解决方法使用kettle中的【javaScript代码】组件进行变量声明,例如声明当前时间包含时分秒,还有删除表示默认字段。系统当前时间Date.proto...原创 2020-04-22 00:14:14 · 3041 阅读 · 0 评论 -
kettle excel插入/更新时日期条件无效
kettle excel插入/更新时日期条件无效kettle excel插入/更新时日期条件无效kettle excel插入/更新时日期条件无效场景介绍:疫情期间,客户方面提供的数据进行更新插入进库,以每天日期字段为唯一项,客户也有可能会修改历史日期数据,所以使用插入/更新。出现问题:以日期为条件,对excel中的数据和库中现有数据进行比对时,居然无效,也就是说excel和库中的日期...原创 2020-04-22 00:05:41 · 1240 阅读 · 0 评论 -
kettle 流程执行顺序调整 - 两种方案
项目需要增量同步数据,实现如下逻辑:现将表中的数据全部同步到目标表,然后再将全部数据的最新时间,更新到时间同步配置表中。操作步骤如下:1)主作业主要转换(获取最后更新时间、增量同步记录数据并更新同步时间到配置表)2)同步数据并更新记录最新时间到同步表中阻塞数据知道步骤都完成,是为了等待需要同步的数据全部同步完成后,在执行更新记录最新时间到同步表中。PS:阻塞...转载 2020-03-05 15:04:08 · 17057 阅读 · 2 评论 -
Kettle从web抽取数据
Kettle从web抽取数据转自:http://blog.csdn.net/the_victory/article/details/47295619转载 2018-09-09 18:29:57 · 1083 阅读 · 0 评论 -
Kettle调优
Kettle调优1、让kettle的执行速度飞起来https://my.oschina.net/sucre/blog/398996Kettle之效率提升。 Kettle作为一款ETL工具,肯定无法避免遇到效率问题,当很大的数据源输入的时候,就会遇到效率的问题。对此有几个解决办法: 1)数据库端创建索引。对需要进行查询的数据库端字段,创建索引,可以在很大程度上提升查询的效...转载 2018-09-09 18:30:36 · 1054 阅读 · 0 评论 -
Kettle日志输出到文件方法
文章转载于: https://blog.csdn.net/wmsok/article/details/78791103版权声明:博客对我来说是记忆的笔记和知识的分享~非常感谢博客大神的帮助,若有无意侵权,请您联系我,谢谢 https://blog.csdn.net/qq_36698956 网上有很多关于如何实现Kettle日志输出到日志文件的方法,但需要修改代码,重新编译,比较麻烦。...转载 2018-09-09 18:32:34 · 4060 阅读 · 0 评论 -
Kettle从Windows环境迁移到Linux运行报错
将Windows环境下的Kettle安装包,解压到Linux环境后,启动测试JOB运行报错如下:[root@hehe001 data-integration]# ./pan.sh -file=/usr/local/kettle/kettleFile/dome.ktr 03:13:12,690 INFO [KarafInstance] ***********************...原创 2018-09-09 19:31:21 · 5850 阅读 · 0 评论 -
Kettle7.1 创建数据库资源库及常见错误解决(二)
问题一:配置JVM及内存配置问题如果java_home设置了,仍提示: could not find the main class. Program will exit!可以设置环境变量:PENTAHO_JAVA_HOME,变量值为:jdk的安装目录,1.6以上即可。本机为: D:\Program Files\java\jdk1.7.0_8 但是,一般都不需要哈。 问...转载 2019-01-11 16:21:02 · 2259 阅读 · 0 评论 -
kettle中间表值映射
kettle源表经过中间表进行值映射迁移至目标表下面举一个列子说明流程:这是源表、中间表和迁移后表的数据对比。这是数据迁移整体结构。下面开始步骤:两个表输入分别读取源表与中间表,这里因为两张表的CITY字段名相同,所以需要在中间表CITY字段名添加一个别名以分辨。增加俩表的对应条件(源表/中间表CITY字段数据对号入座)字段选择/表输出:这里是指转...转载 2019-03-26 15:38:03 · 3450 阅读 · 0 评论 -
Kettle清空数据库连接的缓存
Kettle清空数据库连接的缓存转自:http://ju.outofmemory.cn/entry/109519转载 2018-09-09 18:29:10 · 3656 阅读 · 0 评论 -
使用kettle,查询2个数据库中的表作为输入,输出到另外表中
在使用kettle,查询2个数据库中的表作为输入,输出到另外表中当前文章图片都404了,大家可以参考这篇文章,原理是一样的,操作中有什么问题可以向我留言,我回第一时间回复的 kettle中间表值映射问题描述在mysql数据库中存在dept(部门表),在oracle数据库中存在emp(员工表),需要执行(SELECT d.*,e.* FROM dept d,emp e WHER...转载 2018-08-02 10:02:05 · 18303 阅读 · 6 评论 -
kettle 数据同时插入删除问题
在用kettle进行数据同步时,发现一个问题:目的数据库的数据少于源数据库的数据,丢失的数据去哪里了呢?先上图:步骤1:从源数据库抽取数据步骤2:删除目的数据库的数据步骤3:插入到目的数据库但是问题来了,这么简单的一个过程,到底是哪里出了问题呢?首先,我们需要了解kettle的运行过程,如上图,步骤1,2,3虽然是按照顺序执行的,但是是并行的!也就是说步骤1,2,3都是一条条数据执行的。可以想象,...原创 2018-07-07 09:43:14 · 4153 阅读 · 2 评论 -
kettle学习笔记(一)——入门与安装
一、概述 1.kettle是什么 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 更多介绍,参考kettle中文网:http://www.kettle.net.cn/ 2.kettle四大家族 Chef(...转载 2018-06-20 20:06:50 · 8440 阅读 · 4 评论 -
kettle学习笔记(三)——kettle资源库、运行方式与日志
kettle学习笔记(三)——kettle资源库、运行方式与日志一、kettle资源库 资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。 1.ketle资源库元数据 • 资源库 资源库包括文件资源库、数据库资源库 Kettle 4....转载 2018-06-20 20:18:33 · 7308 阅读 · 0 评论 -
Kettle出现中文乱码问题
Kettle出现中文乱码问题使用Kettle在不同的数据库抽取数据时,有时会出现中文乱码问题:其解决方案如下:1.查看数据库的字符集是否是UTF-8(最常用的字符集)2.如果数据库设置正确仍然存在中文乱码,则可能是因为有的客户端数据库默认的编码集不是UTF-8,我们只需要在输出时对输出的数据库进行编码配置。我的数据库是MySql,下面是解决图示:a.我的转换图b.打开表输出——>数据库连接后...原创 2018-06-20 20:48:05 · 1436 阅读 · 0 评论 -
Kettle7.1 创建数据库资源库及常见错误解决(一)
Kettle7.1 创建数据库资源库及常见错误解决 本文主要是在Kettle7.1 中配置资源库得方法,将配置资源库时遇见得问题整理了一下,作为备忘录使用 1.运行spoon.bat的常见错误:1.1.Java错误该错误是因为Kettle7.1版本不支持jdk1.7及以下版本的jdk,将jdk版本换成1.8以上版本后即可解决。1.2.内存错误右键spoon.bat,...转载 2018-06-20 21:03:44 · 6083 阅读 · 0 评论 -
kettle学习笔记(四)——kettle输入步骤
kettle学习笔记(四)——kettle输入步骤一、输入步骤概述 输入步骤主要分为以下几类: • 生成记录/自定义常量 • 获取系统信息 • 表输入 • 文本文件输入 • XML 文件输入 • Json输入 • 其他输入步骤二、生成记录和自定义常量 1.生成记录 由于生成记录每行都是一样的数据,所以便诞生了自定义常量数据来手工模拟数...转载 2018-06-20 21:34:34 · 2821 阅读 · 0 评论 -
kettle学习笔记(五)——kettle输出步骤
kettle学习笔记(五)——kettle输出步骤一、概述 数据库表: • 表输出 • 更新,删除,插入/更新 • 批量加载(mysql,oracle) • 数据同步 文件: • SQL 文件输出 • 文本文件输出 • XML 输出 • Excel Output/Excel Writer 其他(报表、应用)二、数据库输出 1.表输出 使...转载 2018-06-20 21:35:48 · 5616 阅读 · 0 评论 -
Kettle连接MySQL数据库出现问题,连接不上
使用Kettle连接MySQL数据库,发生了错误,废话不多说,直接上图:错误信息:错误连接数据库 [tcc] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the databaseDriver class 'org.gjt.mm.mysql.Dri...转载 2018-06-20 09:32:16 · 17191 阅读 · 6 评论 -
kettle启动报错‘A Java Exception has occurred.’
我使用的是绿色免安装版 系统是win64 ,双击Spoon.bat的时候,会报错‘A Java Exception has occurred.’解决办法: 因为我使用的jdk版本是1.7, 后面换成1.8就可以了...转载 2018-06-20 10:11:56 · 3080 阅读 · 0 评论 -
kettle的国内镜像下载
ettle国内镜像下载http://mirror.bit.edu.cn/pentaho/Data%20Integration/转载 2018-06-20 10:14:26 · 5129 阅读 · 0 评论 -
kettle学习笔记(二)——kettle基本使用
kettle学习笔记(二)——kettle基本使用一、子程序功能和启动方式介绍 Spoon.bat: 图形界面方式启动作业和转换设计器。Pan.bat: 命令行方式执行转换。Kitchen.bat: 命令行方式执行作业。Carte.bat: 启动web服务,用于 Kettle 的远程运行或集群运行。Encr.bat: 密码加密 转换和作业:Kettle 的 Spoon 设计器用来设计转换...转载 2018-06-20 19:35:01 · 16772 阅读 · 2 评论