利用Kettle将数据从Oracle抽数到SQL Server

    负责将用户数据从Oracle抽数到我这边程序使用到的SQL Server数据表的同事已经走了快2年了。前两天，有用户反馈登录不了，糟糕，这些用户数据我也不 知道是怎么同步过来的。问了数据管理部的同事帮忙找同步脚本。最终找是找到了。它是由“任务计划”里一个名为“start”的任务计划每天执行一个名为“start.bat”的文件。这个“start.bat”文件是kettle执行作业的批处理文件。再查看这个“作业”执行的ktr文件。最后直接在Kettle里执行这个ktr文件报错了。原来如此，所以用户数据没有同步过来。

    让数据管理部同事帮忙看看是哪里的问题，如何处理这个ktr执行报错的问题。他新建一个“转换”将报错的节点copy进来，再执行，却又是可以执行成功。真是神奇。再建一个“作业”来执行这个“转换”。却报错了。......好不容易，“作业”搞定了。要做一个bat文件来执行这个“作业”，因为不能直接将“作业”直接放在“任务计划”里。bat文件怎么制作？，同事从自己电脑发过来一个格式代码。但具体要如何配置参数，他也不太明白。配了几次都失败。......下班了。

    周一了，问题还未解决。数据管理部同事也忙，似乎他也不太熟悉。于是只能靠自己了。

第1步：制作一个简单的“转换”。（百度一下，很多相关的文章的。）制作好后，需要经过“执行”测试。

第2步：通过命令行执行“转换”。参考网址：http://www.mamicode.com/info-detail-1386279.html

第3步：制作bat文件，执行“转换”。

bat文件代码如下：

E:\kettle\Kettle5.2\5.2\Pan.bat /file E:\kettle\kettleForJC6\JC6User.ktr /level Detailed /logfile E:\kettle\kettleForJC6\log\penDemo.log
@pause

因为是使用Kettle的Pan.bat执行转换，其中“E:\kettle\Kettle5.2\5.2\Pan.bat”是路径。

“E:\kettle\kettleForJC6\JC6User.ktr”是第1步制作的“转换”的路径。

“E:\kettle\kettleForJC6\log\penDemo.log”是日志文件存放路径。

制作好后，关闭，再双击打开bat文件，看执行结果。执行没问题。接下来是第3步，使用“任务计划”每天执行这个bat文件，以实现数据每天同步。

第3步：在window服务器添加一个任务计划，定时执行bat文件。--这个也不在此细说了。本人在此步遇到的问题是“状态”显示“未能启动”。百度了可以处理，但“运行”还是无效。由于我登录到远程桌面是通过堡垒机登录，不知道远程机的用户名和密码。于是问网络硬件部同事取得登录的用户名、密码。设置好后就ok了。

 

抽2个表的数据放在一个“转换”里，就出现用户表（数据量较大的表），执行了N久未执行完成，速度越来越慢，时间越来越长。这大概是原来那个作业执行不下去的原因吧。具体是什么原因呢，尚未知。