kettle数据迁移从DB2到mysql

最新推荐文章于 2024-05-09 19:55:21 发布
最新推荐文章于 2024-05-09 19:55:21 发布
阅读量749 收藏
点赞数
文章标签： 数据库 mysql java python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hbhe0316/article/details/122701340
版权

kettle下载地址https://community.hitachivantara.com/s/article/data-integration-kettle

1.【文件】->【新建】->【作业】
创建两个DB连接:source、target(源数据库何目标数据库)，在菜单中找到【复制多表向导】，点击进行相关操作。https://www.cndba.cn/hbhe0316/article/4831

https://www.cndba.cn/hbhe0316/article/4831

2.选择源数据库何目标数据库

输入DB2的IP地址、端口、数据库名称

输入实例用户名和密码

点击【测试数据库连接】https://www.cndba.cn/hbhe0316/article/4831

3.设置目标端IP地址、端口、用户名、密码
设置target目标端
修改F:/kettle/pdi-ce-9.0.0.0-423/data-integration/simple-jndi下的jdbc.properties文件

MYSQL8_DB/type=javax.sql.DataSource
MYSQL8_DB/driver=com.mysql.cj.jdbc.Driver
MYSQL8_DB/url=jdbc:mysql://192.168.31.209:3306/testdb?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT
MYSQL8_DB/user=root
MYSQL8_DB/password=wwwwww

4.新建job开始迁移
新建一个job，创建2个db的连接，source，target，在菜单中找到[复制多表导向]，点击进行关联操作
【工具】—【向导】—【复制多表导向】

https://www.cndba.cn/hbhe0316/article/4831

选择要迁移的表，本测试环境只测试迁移一张表。https://www.cndba.cn/hbhe0316/article/4831https://www.cndba.cn/hbhe0316/article/4831

执行任务开始迁移。https://www.cndba.cn/hbhe0316/article/4831https://www.cndba.cn/hbhe0316/article/4831

5.迁移完成https://www.cndba.cn/hbhe0316/article/4831https://www.cndba.cn/hbhe0316/article/4831

2020/07/12 11:48:51 - Carte - Installing timer to purge stale objects after 1440 minutes.
2020/07/12 11:57:57 - Spoon - 正在开始任务...
2020/07/12 11:57:57 - test1111 - 开始执行任务
2020/07/12 11:57:57 - test1111 - 开始项[创建表 [T1]]
2020/07/12 11:57:57 - test1111 - 开始项[复制数据到 [T1]]
2020/07/12 11:57:58 - 复制数据到 [T1] - Running transformation using the Kettle execution engine
2020/07/12 11:57:58 - 复制到_sorcet1_到_target - 为了转换解除补丁开始  [复制到_sorcet1_到_target]
2020/07/12 11:57:58 - 写到 [T1].0 - Connected to database [target] (commit=100)
2020/07/12 11:58:31 - 从 [T1].0 - linenr 50000
2020/07/12 11:58:38 - 写到 [T1].0 - linenr 50000
2020/07/12 11:59:08 - 从 [T1].0 - linenr 100000
2020/07/12 11:59:18 - 写到 [T1].0 - linenr 100000
2020/07/12 11:59:45 - 从 [T1].0 - linenr 150000
2020/07/12 11:59:52 - 写到 [T1].0 - linenr 150000
2020/07/12 12:00:22 - 从 [T1].0 - linenr 200000
2020/07/12 12:00:29 - 写到 [T1].0 - linenr 200000
2020/07/12 12:01:04 - 从 [T1].0 - linenr 250000
2020/07/12 12:01:12 - 写到 [T1].0 - linenr 250000
2020/07/12 12:01:47 - 从 [T1].0 - linenr 300000
2020/07/12 12:01:57 - 写到 [T1].0 - linenr 300000
2020/07/12 12:02:43 - 从 [T1].0 - linenr 350000
2020/07/12 12:02:55 - 写到 [T1].0 - linenr 350000
2020/07/12 12:03:30 - 从 [T1].0 - linenr 400000
2020/07/12 12:03:42 - 写到 [T1].0 - linenr 400000
2020/07/12 12:04:18 - 从 [T1].0 - linenr 450000
2020/07/12 12:04:26 - 写到 [T1].0 - linenr 450000
2020/07/12 12:05:05 - 从 [T1].0 - linenr 500000
2020/07/12 12:05:11 - 写到 [T1].0 - linenr 500000
2020/07/12 12:05:47 - 从 [T1].0 - linenr 550000
2020/07/12 12:05:55 - 写到 [T1].0 - linenr 550000
2020/07/12 12:06:29 - 从 [T1].0 - linenr 600000
2020/07/12 12:06:37 - 写到 [T1].0 - linenr 600000
2020/07/12 12:07:15 - 从 [T1].0 - linenr 650000
2020/07/12 12:07:24 - 写到 [T1].0 - linenr 650000
2020/07/12 12:07:56 - 从 [T1].0 - linenr 700000
2020/07/12 12:08:04 - 写到 [T1].0 - linenr 700000
2020/07/12 12:08:39 - 从 [T1].0 - linenr 750000
2020/07/12 12:08:49 - 写到 [T1].0 - linenr 750000
2020/07/12 12:09:27 - 从 [T1].0 - linenr 800000
2020/07/12 12:09:34 - 写到 [T1].0 - linenr 800000
2020/07/12 12:10:10 - 从 [T1].0 - linenr 850000
2020/07/12 12:10:22 - 写到 [T1].0 - linenr 850000
2020/07/12 12:10:54 - 从 [T1].0 - linenr 900000
2020/07/12 12:11:04 - 写到 [T1].0 - linenr 900000
2020/07/12 12:11:36 - 从 [T1].0 - linenr 950000
2020/07/12 12:11:46 - 写到 [T1].0 - linenr 950000
2020/07/12 12:12:18 - 从 [T1].0 - linenr 1000000
2020/07/12 12:12:26 - 写到 [T1].0 - linenr 1000000
2020/07/12 12:13:05 - 从 [T1].0 - linenr 1050000
2020/07/12 12:13:11 - 写到 [T1].0 - linenr 1050000
2020/07/12 12:13:56 - 从 [T1].0 - linenr 1100000
2020/07/12 12:13:59 - 从 [T1].0 - Finished reading query, closing connection.
2020/07/12 12:13:59 - 从 [T1].0 - 完成处理 (I=1104758, O=0, R=0, W=1104758, U=0, E=0)
2020/07/12 12:14:03 - 写到 [T1].0 - linenr 1100000
2020/07/12 12:14:08 - 写到 [T1].0 - 完成处理 (I=0, O=1104758, R=1104758, W=1104758, U=0, E=0)
2020/07/12 12:14:08 - test1111 - 完成作业项[复制数据到 [T1]] (结果=[true])
2020/07/12 12:14:08 - test1111 - 完成作业项[创建表 [T1]] (结果=[true])
2020/07/12 12:14:08 - test1111 - 任务执行完毕
2020/07/12 12:14:08 - Spoon - 任务已经结束.

测试从DB2到DB2的时间

2020/07/12 13:57:10 - Spoon - 另存为...
2020/07/12 13:57:16 - Spoon - Save file as...
2020/07/12 13:59:19 - Spoon - 正在开始任务...
2020/07/12 13:59:19 - t1 - 开始执行任务
2020/07/12 13:59:19 - t1 - 开始项[复制数据到 [T1]]
2020/07/12 13:59:19 - 复制数据到 [T1] - Running transformation using the Kettle execution engine
2020/07/12 13:59:19 - 复制到_source1t1_到_target1 - 为了转换解除补丁开始  [复制到_source1t1_到_target1]
2020/07/12 13:59:19 - 写到 [T1].0 - Connected to database [target1] (commit=100)
2020/07/12 13:59:30 - 从 [T1].0 - linenr 50000
2020/07/12 13:59:33 - 写到 [T1].0 - linenr 50000
2020/07/12 13:59:44 - 从 [T1].0 - linenr 100000
2020/07/12 13:59:46 - 写到 [T1].0 - linenr 100000
2020/07/12 13:59:56 - 从 [T1].0 - linenr 150000
2020/07/12 13:59:58 - 写到 [T1].0 - linenr 150000
2020/07/12 14:00:07 - 从 [T1].0 - linenr 200000
2020/07/12 14:00:10 - 写到 [T1].0 - linenr 200000
2020/07/12 14:00:19 - 从 [T1].0 - linenr 250000
2020/07/12 14:00:21 - 写到 [T1].0 - linenr 250000
2020/07/12 14:00:32 - 从 [T1].0 - linenr 300000
2020/07/12 14:00:35 - 写到 [T1].0 - linenr 300000
2020/07/12 14:00:45 - 从 [T1].0 - linenr 350000
2020/07/12 14:00:47 - 写到 [T1].0 - linenr 350000
2020/07/12 14:00:59 - 从 [T1].0 - linenr 400000
2020/07/12 14:01:01 - 写到 [T1].0 - linenr 400000
2020/07/12 14:01:10 - 从 [T1].0 - linenr 450000
2020/07/12 14:01:13 - 写到 [T1].0 - linenr 450000
2020/07/12 14:01:23 - 从 [T1].0 - linenr 500000
2020/07/12 14:01:25 - 写到 [T1].0 - linenr 500000
2020/07/12 14:01:35 - 从 [T1].0 - linenr 550000
2020/07/12 14:01:38 - 写到 [T1].0 - linenr 550000
2020/07/12 14:01:51 - 从 [T1].0 - linenr 600000
2020/07/12 14:01:54 - 写到 [T1].0 - linenr 600000
2020/07/12 14:02:07 - 从 [T1].0 - linenr 650000
2020/07/12 14:02:10 - 写到 [T1].0 - linenr 650000
2020/07/12 14:02:21 - 从 [T1].0 - linenr 700000
2020/07/12 14:02:23 - 写到 [T1].0 - linenr 700000
2020/07/12 14:02:32 - 从 [T1].0 - linenr 750000
2020/07/12 14:02:35 - 写到 [T1].0 - linenr 750000
2020/07/12 14:02:45 - 从 [T1].0 - linenr 800000
2020/07/12 14:02:47 - 写到 [T1].0 - linenr 800000
2020/07/12 14:02:58 - 从 [T1].0 - linenr 850000
2020/07/12 14:03:00 - 写到 [T1].0 - linenr 850000
2020/07/12 14:03:10 - 从 [T1].0 - linenr 900000
2020/07/12 14:03:13 - 写到 [T1].0 - linenr 900000
2020/07/12 14:03:23 - 从 [T1].0 - linenr 950000
2020/07/12 14:03:24 - 写到 [T1].0 - linenr 950000
2020/07/12 14:03:37 - 从 [T1].0 - linenr 1000000
2020/07/12 14:03:40 - 写到 [T1].0 - linenr 1000000
2020/07/12 14:03:52 - 从 [T1].0 - linenr 1050000
2020/07/12 14:03:54 - 写到 [T1].0 - linenr 1050000
2020/07/12 14:04:07 - 从 [T1].0 - linenr 1100000
2020/07/12 14:04:10 - 写到 [T1].0 - linenr 1100000
2020/07/12 14:04:22 - 从 [T1].0 - linenr 1150000
2020/07/12 14:04:25 - 写到 [T1].0 - linenr 1150000
2020/07/12 14:04:26 - 从 [T1].0 - Finished reading query, closing connection.
2020/07/12 14:04:26 - 从 [T1].0 - 完成处理 (I=1162570, O=0, R=0, W=1162570, U=0, E=0)
2020/07/12 14:04:29 - 写到 [T1].0 - 完成处理 (I=0, O=1162570, R=1162570, W=1162570, U=0, E=0)
2020/07/12 14:04:29 - t1 - 完成作业项[复制数据到 [T1]] (结果=[true])
2020/07/12 14:04:29 - t1 - 任务执行完毕
2020/07/12 14:04:29 - Spoon - 任务已经结束.

版权声明：本文为博主原创文章，未经博主允许不得转载。

kettle

hbhe0316
关注
求助，kettle链接本地的db2时出现的错误。错误位置：Reply.fill() - insufficient data (-1)。消息：数据不足
the_original_dream的博客
04-08 4106
错误连接数据库 [connect_to_SAMPLE] : org.pentaho.di.core.exception.KettleDatabaseException: Error occurred while trying to connect to the databaseError connecting to database: (using class com.ibm.db2.jcc.DB...
Kettle--MySQL生产数据库千万、亿级数据量迁移方案及性能优化
m0_67401761的博客
07-29 3169
亿级以上数据量。
Kettle进行DB2和Postgresql数据库迁移
qq_40225415的博客
02-21 2829
1、 新建一个作业，然后点击主对象树，在DB连接中新建需要迁移的两个数据库，如图所示： 2、 导出数据的数据库连接在选项命名参数中配置编码和表模式（注意：一定要加分号），如图所示： 3、 点击测试，连接成功后，点击确定，此时导出数据的数据库已连接完成 4、 同理，连接需要导入数据的数据库 5、 在选项中配置命名参数，在高级默认模式名称中添加要导数据的表模式名（注：模式名小写），具体如图所示...
数据迁移实战：基于Kettle的Mysql到DB2的数据迁移
weixin_30611509的博客
06-17 209
From：https://my.oschina.net/simpleton/blog/525675 一、什么是ETL ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 二、Kettle简单说明 Kett...
用kettle 进行数据库的迁移--DB2 迁移到 mysql
weixin_33804582的博客
08-01 1090
一、前言 开始给用户提供的整套系统是部署在WAS服务器和DB2数据库上的，由于WAS和DB2都属于IBM收费产品，根据用户需求，为了节省这笔开销，想使用免费开源的数据库和Tomcat服务器。于是数据库选择了MariaDB。这就涉及到，在不动系统代码的情况下，怎样直接将DB2数据库的表结构、数据、主键、索引等迁移到MariaDB上。接着这个...
db2 to mysql,DB2ToMysql下载-DB2导入到Mysql工具 v3.1 官方版 - 安下载
weixin_42299089的博客
03-18 175
DB2ToMysql提供数据库资源导入功能，可以将DB2数据转换为Mysql数据库，直接在软件上登录数据库就可以导入新的文件到表，快速将数据表传输到MySQL的数据表中使用，实现更方便的数据转换和导入操作，适合经常编辑数据表的朋友使用，当您需要将其他数据库内容导入到MySQL的时候就可以下载DB2ToMysql；软件界面功能还是很简单的，成功连接到远程数据库就可以执行导入操作，可以在file菜单界...
ETL工具-kettle9.3环境部署+数据迁移实操
02-27
ETL工具-kettle9.3环境部署+数据迁移实操 Kettle 是一款开源的、纯 Java 编写的、跨平台的、绿色版无需安装的 ETL 工具，数据抽取高效稳定。下面是对 Kettle 环境部署和数据迁移的详细说明： 一、Kettle 结构分为...
kettle 9.2 各版本 drivers
08-16
Kettle，全称为Pentaho Data Integration（PDI），是一款强大的ETL（Extract, Transform, Load）工具，用于数据整合和迁移。它以其图形化的界面、灵活的数据处理能力和跨平台的特性深受用户喜爱。在9.2这个版本中，...
Kettle数据整合平台：从架构到实战
Kettle不仅支持各种传统数据库，如Oracle、DB2、MySQL，还兼容平面文件以及大数据环境下的Hadoop、HBase、MongoDB等数据源。它提供了Spoon、Pan和Kitchen三个客户端工具，分别用于图形化开发、执行转换和执行作业。...
DB2 to mysql
xiang__liu的博客
03-15 617
1.安装DB2create database testdbconnect to testdb2. 将DB2 ixf格式into DB2IMPORT FROM /tabxxx.IXF OF IXF messages msgx.txt CREATE INTO staff_temp3. 下载toad for DB2,察看DB2 数据和DDL4. DB2 to mysql工具http://www.wmzh...
pdi-ce-8.2（kettle 8.2）安装软件
12-10
Kettle是目前最流行的开源ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。
kettle连接db2报错，修改kettle驱动版本
IT小生
11-12 6477
libext\JDBC
【kettle017】kettle访问DB2数据库并处理数据至execl文件（最近完善中）
最新发布
kngines
05-09 114
1.一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。 2.熟悉、梳理、总结下DB2数据库（IBM公司开发的一套关系型数据库管理系统）相关知识体系。 3.欢迎批评指正，跪谢一键三连！
db2数据库迁移到mysql5.7
孤独行者
07-17 3507
最近由于项目要求，需要将db2数据库迁移到mysql数据库。具体步骤如下： 1、使用navicat新建一个数据库作为db2数据库中的数据表结构及数据的接收者 2、右键表点击“导入向导” 3、选择ODBC，点击下一步 4、选择“IBM OLE DB Provider for DB2 - DB2COPY1”，点击下一步 5、这里可以选择本地的db2数据源，也可以选择服务器上的数据库，填写完毕后点击下一步 6、这些就是你db2数据库中的表，可以根据要求勾选，点击下一步 7、在
kettle安装部署及使用MySQL转DB2
Superjixuefei的博客
01-09 539
下载kettle 下载MySQL和DB2的驱动，解压驱动到文件夹lib下（驱动网上都可以找到） 双击运行kettle，时间会有点长，稍等1，2分钟左右 双击运行kettle，时间会有点长，稍等1，2分钟左右 进入kettle界面，转换输入表输入（按住‘表输入’往右边拖） 双击右边的‘表输入’进入配置数据库信息，点击新建，类型选择MySQL数据库 为了防止中文乱码，指定字符集charact...
使用kettle将1亿数据导入mysql
Blueeyedboy521的博客
03-30 2796
一、导入思路 二、准备一份亿级数据t_user.txt txt中数据只有连个字段，用;隔开，如下 0;程序不就是0和1_0 1;程序不就是0和1_1 2;程序不就是0和1_2 . . . 可以通过一下程序生成 生成的文件大约4G 主要mysql所在的磁盘预留足够空间，由于有binlog日志和数据，所以大约会占用15G。 三、建立数据库表t_user 四、运行kettle 1.在左侧转换，点击新建，在核心对象的【输入】中选择文本，然后拖入右侧工作面 浏览选择文件t_user.txt，并且点击增加，
kettle使用db2的sql中--不生效的坑
BHSZZY的博客
08-22 1034
使用kettle时，如果连接的数据库是db2，需要注意，写sql时如果用--注释是不会生效的，会让--后的所有sql语句失效。
db2中kettle报错 Field [XXX] is required and couldn‘t be found 解决方法
BHSZZY的博客
08-01 5042
有一个需求，要从db2的某个表抽取数据到mysql的某个表中。上面明明配置了asname，但是还报错没有name，就很奇葩。
Kettle从MySQL到Hadoop数据迁移实战
在大数据处理场景中，数据集成是一个关键步骤，Kettle（Pentaho Data Integration，简称PDI）是一款强大的ETL（Extract, Transform, Load）工具，常用于数据迁移、清洗和转换。本教程将介绍如何使用Kettle从MySQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值