【ETL】使用kettle工具将数据从oracle迁移到mysql

【ETL】使用kettle工具将数据从oracle迁移到mysql



1 kettle安装及运行  
kettle官网下载地址 ,下载完毕后大概有800多m 
1
下载完毕后,直接解压,双击Spoon.bat进行运行。 
1  
如果在你的电脑上启动之后,没有进入下面的页面,那么就换台机器。修改  Spoon.bat 中java内存参数不一定好使。

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"1

2  
2 数据库连接  
将数据从oracle迁移到mysql,需要先在kettle中建立oracle和mysql数据库连接,注意 mysql-connector-java-5.1.45.jar ojdbc14-10.2.0.1.0.jar 要在kettle启动之前拷贝进去。 
2.1 mysql  
mysql-connector-java-5.1.45.jar 拷贝到 data-integration\lib 目录下 
2  
按照下图操作,输入相关的数据连接参数 
2
配置字符集 
2
2.2 oracle  
ojdbc14-10.2.0.1.0.jar 拷贝到 data-integration\lib 目录下 
3
按照下图操作,输入相关的数据连接参数 
4
3 最基本的导数据  
导入数据的基本流程如下图,可以分为三个步骤,首先建立源数据库和目标数据库的连接,然后建立源数据表和目标数据表的映射关系,最后建立作业任务,执行。 
1
3.1 建立DB连接  
这个在上面第2章已经将做如何配置了。 
3.2 建立steps  
这一步实现源数据库和目标数据表的映射关系,它也有三个步骤 
3.2.1表输入  
第一步:在【转换】里面,选择【核心对象】,接着双击【表输入】,或者选中将【表输入】拖拽到右侧空白区域。 
1
第二步:双击你拖进来的【表输入】,修改“步骤名称”,选择源数据,点击获取【获取SQL查询语句】,选择你想同步的表,点击确定后,就可以了。当然你也可以自己写sql语句 
2
3.2.2 字段选择  
第一步:在【转换】里面,拖拽【字段选择】到右侧空白区域。 
第二步:按住shift 拖动鼠标连接【客户基本信息输入】和 【字段选择】 
第三步:双击【字段选择】,添加【列映射】,建立源表和目标表中列字段的映射,如果字段名称相同,kettle会自动帮你选择,如果不同,则需要你自己选择对应关系 
3
下图是匹配完成,点击确定后的结果。 
4  
第四步:这一步可选,当源数据字符集与目标字符集不同的时候需要做字符转换,如果一致,则直接跳过这一步 
5
3.2.3 表输出  
第一步:在【转换】拖拽【表输出】到右侧空白区域,按住shift 拖动鼠标连接【字段选择】和【基本信息输出】 
1  
第二步:双击【表输出】,修改“步骤名称”,选择“数据库连接”,选择“目标表”, 
2  
第三步:获取字段,因为在【字段选择】中已经做了匹配,所以这里可以全选,kettle可以帮你全部选择 
3  
第四步: ctrl+s 保存 ktr文件 
4 建立作业  
按照下图新建作业 
1  
4.1 设置START  
拖拽【START】到右侧空白区域 
1
4.2 配置作业转换  
第一步:拖拽【转换】到右侧空白区域,并按住shift 拖动鼠标连线 
2
第二步:选择第3章保存的ktr文件,保存即可。 
3  
第三步:手工运行作业,点击下图红色圈圈里面的按钮 
4
进入下面的页面,点击【执行】就可以了。 
5  
查看日志,下面的是结果正常的。如果有错,kettle会提示你错误原因。 
6
4.3 定时执行  
如果不想立即执行,那么可以选择制定的规则,让kettle定期执行。具体操作,可双击【START】,更改“类型”,下图示例是制定每天的具体时刻。 
1  
运行的时候,选择Start Job at 就可以了。 
2  
你会发现画风会停到下面这里 
3  
跟踪日志,你会发现它会按照我设置的时间开始执行 
4
参考资料  
KETTLE 从oracle将表导入mysql  
Kettle数据抽取(转换)出现乱码问题解决方法




About Me

........................................................................................................................

● 本文作者:小麦苗,部分内容整理自网络,若有侵权请联系小麦苗删除

● 本文在itpub( http://blog.itpub.net/26736162 )、博客园( http://www.cnblogs.com/lhrbest )和个人weixin公众号( xiaomaimiaolhr )上有同步更新

● 本文itpub地址: http://blog.itpub.net/26736162

● 本文博客园地址: http://www.cnblogs.com/lhrbest

● 本文pdf版、个人简介及小麦苗云盘地址: http://blog.itpub.net/26736162/viewspace-1624453/

● 数据库笔试面试题库及解答: http://blog.itpub.net/26736162/viewspace-2134706/

● DBA宝典今日头条号地址: http://www.toutiao.com/c/user/6401772890/#mid=1564638659405826

........................................................................................................................

● QQ群号: 230161599 (满) 、618766405

● weixin群:可加我weixin,我拉大家进群,非诚勿扰

● 联系我请加QQ好友 646634621 ,注明添加缘由

● 于 2018-12-01 06:00 ~ 2018-12-31 24:00 在魔都完成

● 最新修改时间:2018-12-01 06:00 ~ 2018-12-31 24:00

● 文章内容来源于小麦苗的学习笔记,部分整理自网络,若有侵权或不当之处还请谅解

● 版权所有,欢迎分享本文,转载请保留出处

........................................................................................................................

小麦苗的微店 https://weidian.com/s/793741433?wfr=c&ifr=shopdetail

小麦苗出版的数据库类丛书 http://blog.itpub.net/26736162/viewspace-2142121/

小麦苗OCP、OCM、高可用网络班 http://blog.itpub.net/26736162/viewspace-2148098/

小麦苗腾讯课堂主页 https://lhr.ke.qq.com/

........................................................................................................................

使用 weixin客户端 扫描下面的二维码来关注小麦苗的weixin公众号( xiaomaimiaolhr )及QQ群(DBA宝典)、添加小麦苗weixin, 学习最实用的数据库技术。

........................................................................................................................

欢迎与我联系

 

 



来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/26736162/viewspace-2286840/,如需转载,请注明出处,否则将追究法律责任。

小麦苗DBA宝典 CSDN认证博客专家 DB宝 小麦苗 DBA宝典
【QQ:646634621】【微信:db_bao】【微信公众号:DB宝】【11g、12cOCM】【QQ群:230161599、618766405】【《数据库笔试面试宝典》作者】【OCP、OCM、高可用(RAC+DG+OGG)、MySQL培训班已开讲,只讲实用内容】
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:设计师小姐姐 返回首页
实付 9.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值