oracle定时取数至mysql

一、利用kettle oracle初次全量取数至mysql
1.首先是kettle的使用，先下载kettle(此处不详细展开)，点击Spoon.bat打开

2.如果是初次全量数据同步时可以直接使用本地，不需要连接账号，即下图connect处不需要任何操作，如果需要利用dolphin做定时任务，则需要连接


3.点击文件新建转换，使用核心对象表输入、表输出

4.建立表输入oracle取数

连接需要取数的oracle数据库，输入取数sql
5.表输出
连接想要输出的数据库与对应的表，此处用的是mysql

6.建立作业
使用核心对象转换，将上面建立的转换嵌入到作业中即可
这样运行作业即可完成初次传输

二、利用kettle进行每日增量更新（覆盖前 30天的数据）
1. 新建转换：执行sql脚本删除前30天数据，利用表输入表输出插入数据

2.将转换嵌入到作业中
3.利用dolphin scheduler调度工具调成定时任务


脚本：

/opt/kettle8.3/data-integration/kitchen.sh  /rep:dataflow（使用账户） /user:用户名 /pass:密码 /job:作业名称  /dir:/dataflow/（作业所在文件夹） /level:Debug

4.发布工作流之后制定工作任务就可以啦~~