kettle初学习

KETTLE新手学习

1.认识

kettle是一个纯Java的ETL工具，主要对数据进行抽取、转换、装入、加载。
注意：使用这个工具你要确认你的Java环境已经配置好。

2.下载安装

https://community.hitachivantara.com/s/article/data-integration-kettle
参考 ：https://www.cnblogs.com/zlslch/p/6905112.html
注意：高版本的下载解压就行了，但是你用什么数据库就要把对应版本的驱动放入安装目录的lib下。

内存调节：找到下载目录下的Spoon.bat文件，编辑，修改参数，将内存值调大（256的倍数）。

MySQL驱动下载指导

3.控件认识

找了一圈发现要钱要钱，最后找了一个18年的，将就着看吧
kettle各种组件介绍

kettle最主要的就是转换和作业，对于作业和转换，
转换：转换是个数据流，会一次性启动所有控件
作业：作业是个步骤流，也就是说要一步一步的执行，作业在传递数据流时利用数据表中转或者用变量传递
然后转换和作业里的组件基本不一样

比较有用的几个控件：
Excel输入；表输入：注意数据连接不能为空；文本文件输入（不常用）。
Excel输出；Microsoft Excel 输出；表输出；文本文件输出；SQL 文件输出。
字段选择：用于从查询的字段中选择想要的，实现对字段的名字进行更改，当是数值时可以进行精度的设置；
排序记录：一个用于排序的组件；
设置字段值：用于设置字段别名；
字符串替换：类似于oracle的replace函数，将特定字段替换成我们指定的；
复制记录到结果：方便将转换里查到的数据集传入作业；
从结果获取记录：将上一个组件里的数据转换出来；
合并记录：一般用于两个数据集的比较，比对完后会给出更新或者删除的建议，一般后接Switch / case；
Switch / case：一般用于的比较之后的组件，确认下一步的操作，下一步多跟删除，更新，输出，空操作
执行sql脚本（转换里面）：一般用于执行sql的update操作，注意勾选“变量替换”和“执行每一行”，where条件中用？代替参数
设置变量：一种是直接在转换或者作业里面右键设置全局变量，用${}就可以取到，一种是通过组件（设置变量）来设置

4.数据库连接

数据库连接其实主要填写 主机IP地址、数据库名称、端口号、账号密码

5.使用教程和范例

我也懒得写，直接上链接
简介和入门：https://blog.csdn.net/qqfo24/article/details/82190535
常用输入输出：https://blog.csdn.net/qqfo24/article/details/82215761
同时输出为xls/XLSX格式：https://blog.csdn.net/c1z2w3456789/article/details/107269101
条件判断 Switch Case：https://blog.csdn.net/qqfo24/article/details/82686619
模糊查询：https://blog.csdn.net/weixin_43190860/article/details/97762880
数据替换：https://blog.csdn.net/zcsq1987/article/details/107001499
插入更新：https://blog.csdn.net/l23456789o/article/details/84589997
时间戳增量回滚同步：https://blog.csdn.net/dora_310/article/details/80511793
（时间戳增量回滚同步这个挺不错，虽然实际运用可能有点问题，但是比较适合新手练手）

总结：

我不怎么会总结，也写不出什么很好看的博客。但我一向推崇多实践，多练习。实践一下你才能发现问题、解决问题，这才是最好的学习方法。