kettle数据抽取的使用
文章平均质量分 59
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽取高效稳定。
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
我俗人
世界从不完美,时间不会给你2次机会。
展开
-
使用Kettle抽取数据时 sqlserver oracle到SQL出现中文乱码问题解决方案
1.设置作业连接-高级set names utf8;2.设置选项characterEncoding utf83.查看 中文没有问号出现原创 2021-06-09 16:37:14 · 1520 阅读 · 1 评论 -
kettle spoon 在Linux中通过Kitchen和Pan以命令行方式执行kettle的Job和Transformation
简述逻辑:在windows界面打开kettle 进行脚本编写 ,编写好后把kettle的安装压缩包上传到linux服务器 解压 ,在目录下通过Kitchen.sh执行作业,Pan执行转换1. 准备工作一个简单的job,一个简单的trans。本处为了方便和效果易见,job和trans都生成文件。trans:读取download目录下的所有文件名,输出为文件。【界面情况下测试成功】成功生成目标文件:job:创建文件。【界面模式测试执行成功】执行结果:把界面...转载 2021-01-15 17:10:55 · 1738 阅读 · 0 评论 -
Data Integration - Kettle8.2使用(四)数据转换抽取oralce到mysql(主键重复)
首先按照前面讲的如果主键重复会报下面错误而且会停止抽取数据,碰到这种情况,我们需要使用另一个输出,插入或更新,如下图拖一个到右边替换表输出。替换后如下图点击插入/更新配置数据源信息,在我划线的地方只保留主键的列,在更新字段下面可以主键重复时是否更新 (Y/N)点击运行 ...原创 2019-02-25 11:01:11 · 2886 阅读 · 2 评论 -
Data Integration - Kettle8.2使用(三)数据转换抽取oralce到mysql(表结构不一样)
如果抽取的表结构不一样,可以按照下面截图的指定哪个字段对应哪个字段原创 2019-02-25 10:44:25 · 3276 阅读 · 0 评论 -
Data Integration - Kettle8.2使用(二)数据转换抽取oralce到mysql
kettle数据抽取可以分为转换和作业。转换是进行单独的从一个表抽到另一个表,如果多个呢??那么就需要作业,在作业里可以调用多个转换,同步或是异步都可以。我们今天就先来讲一个简单的转换。首先打开kettle1.点击文件--->新建----->转换。如下如2.从左边的列表里面的核心对象-->输入--->表输入。选中表输入,然后拖到右边3.点击拖...原创 2019-02-23 16:09:26 · 7084 阅读 · 7 评论 -
Data Integration - Kettle8.2使用(一)Kettle下载安装
看到网上关于kettle的大多是老的版本,所以打算自己写一个最新版的怎么来使用kettle的。什么是kettle?在现在大数据的时代,必然少不了ETL工具,市面上有很多的ETL工具,有收费的,免费的,开源的。我这里使用的是比较方面的kettle解释一下ETL ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、交互...原创 2019-02-22 17:41:37 · 34310 阅读 · 11 评论