Kettle (6) - 跨数据库数据迁移几个细节

最新推荐文章于 2024-08-09 11:26:48 发布
最新推荐文章于 2024-08-09 11:26:48 发布
阅读量1.6k 收藏 7
点赞数
分类专栏： # Kettle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stone0823/article/details/102596881
版权

本篇基于假设的场景：将 SQL Server 数据库的表迁移到 MySQL 数据库。之前写过一篇从 SQLite 到 MySQL 的，但当时目标数据库的表创建是手写 SQL 语句来创建的。最近在做数据处理操作的时候，需要用不同的数据源来作性能和其他方面的比较，所以做了不少数据的腾挪。数据在不同数据库间迁移的时候，希望用尽量自动化的方式创建数据表。比较过几个工具，最后还是觉得 kettle 是最合适。将 kettle 数据迁移的几个细节记录一下。

数据库 jar 包

我使用的是 kettle 7.1 版，本来是已经下载了 8.2，但感觉 kettle版本越高，启动速度越慢，又重新退回到 7.1。好久没用过 kettle，这次重新捡起来，发现 kettle 竟然连常见的数据库驱动，比如 mysql connector，都没有提供。需要自己下载。

MySQL 和 Sql Server 操的 jar 包都可以在 Maven Repository 中下载：MySql jar 包地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java

Sql Server 数据库操作的 jar 包（JTDS）地址：https://mvnrepository.com/artifact/net.sourceforge.jtds/jtds

下载 jar 包后，放在 kettle 安装包里面的 lib 文件夹中，需要重启 kettle。

如果通过 kettle 迁移数据库，强烈建议不要用 MS Access 数据库。因为 JDBC 没有直接操作 MS Access 的 jar 包，1.7之前只能通过 JDBC-ODBC bridge，但 Java 8 之后，这个Bridge 被 Oracle 公司移除了。

配置与 SQL Server 和 MySQL 的连接

启动 spoon，新建一个转换 (Transformation)，在「主对象树」中，选择 「DB连接」节点，右键，新建一个数据库连接向导，连接名称为 sqlserver:

在这里插入图片描述
点击 Next 按钮，输入服务器名称，TCP/IP 端口和数据库名称：

在这里插入图片描述
点击 Next 进入下一界面，输入用户名和密码。然后点击 测试数据库连接 测试是否能连接成功。

在这里插入图片描述
因为我使用的是 SQL Server 2017 Express 版，所以默认的端口不是 1433。如何查看这个端口呢？打开 SQL Server 配置管理器，如果 TCP/IP 没有启用，需要启用 TCP/IP 连接方式。

在这里插入图片描述
然后选中 TCP/IP，右键，查看属性，在最后有一个 IPALL，这里就是 Express 版的端口。

在这里插入图片描述

用同样的方式建立与 MySQL 数据库的连接。

在这里插入图片描述

多表复制向导

通过菜单【工具】> 【向导】> 【复制多表向导】，打开下面的界面。左边选择 sqlserver，右边选择 mysql。

在这里插入图片描述
点击 「Next」，选择需要迁移的表：

在这里插入图片描述
输入 job Name 和 Directory，然后点击 Finish。

在这里插入图片描述

Kettle 生成下面的 job，非常直观：

在这里插入图片描述
到这里，基本上，执行运行操作就可以自动创建表，将数据从源数据库复制到目标数据库。但要注意两个问题：

  1. 目标数据库没有包含源数据表的 primary key 和 foreign key 等信息，需要手工补充
  2. 注意源数据库和目标数据库的 encoding 是否一致，避免中文乱码

解决第一个问题。双击作业的步骤「创建表[stock_movement_headers]」,显示界面如下：

在这里插入图片描述

本步骤执行 SQL 语句来创建表，但没有同时创建 primary key，可以对 SQL 语句进行更改：

在这里插入图片描述
对 stock_movement_details 表也用同样的方法设置数据表的 primary key。

第二个问题，为了避免乱码，对源数据库和目标数据库的 encoding。方法是双击 DB连接，切换到选项页面，增加一个命名参数 characterEncoding。

在这里插入图片描述

在表输出步骤创建表

一般情况下，Transformation 的表输入和表输出用于传输数据表的数据，但也可以在创建步骤的时候执行创建表的 SQL 语句，方法如下。以我刚刚创建的 Transformation 为例，增加一个表输入：

在这里插入图片描述

增加一个表输出步骤，与表输入连接。对表输出步骤设置如下：
在这里插入图片描述

其实此时 stock_movement_headers 表并不存在，但可以点击 「SQL」按钮，帮助生成相应的 SQL 语句。当我们点击的时候，弹出界面如下：

在这里插入图片描述
对 SQL 语句稍作修改，然后点击执行，即可生成 stock_movement_headers 表。然后再执行 transformation，实现数据的传输。

stone0823
关注
专栏目录
Kettle--MySQL生产数据库千万、亿级数据量迁移方案及性能优化
m0_67401761的博客
07-29 3169
亿级以上数据量。
【ETL】使用kettle工具将数据从oracle迁移到mysql
coco3600的博客
12-28 2994
【ETL】使用kettle工具将数据从oracle迁移到mysql 1 kettle安装及运行 kettle官网下载地址 ,下载完毕后大概有800多m ...
sqlserver数据库迁移到mysql技术记录（一）
kay三石
05-16 513
主要记录迁移前期准备工具选型模型变更：开发环境程序对应修改sql语句准备sqlserver查询全表大字段： 工具选型 模型变更： 1.使用powerdesigner进行反向生成pdm设计文档。检查数据库中使用的sequence,function,job,trigger对象补充到pdm文档中。 2.切换数据库类型 3.统计字段类型确认每种字段类型的转换， 4.模型确认后生成脚本 开发环境 1.使用mysql数据库5.5以上 2.使用建表脚本建表 3.准备sqlsever把数据测试，使数据库脱敏 4.使用ETL
kettle 复制多表向导怎么只迁移某一个库
最新发布
qq_28384505的博客
08-09 259
想把mysql的其中一个库的表同步到oracle里,但复制多表向导会把mysql所有的表都读出来。这里就没有办法选择某个schema下面所有的表,而是把整个库的表全部读出来了。没有办法实现按schema来同步数据,求支招。
跨数据库数据迁移
12-22
/** * 源数据库库连接池配置 * */ ConnPoolConfig config = new ConnPoolConfig(); config.setMaxPoolSize(30); config.setInitialPoolSize(20); config.setUrl("jdbc:sqlserver://192.168.0.222;databaseName=ciems"); config.setDriverClass("com.microsoft.sqlserver.jdbc.SQLServerDriver"); config.setUsername("sa"); config.setPassword("Password2017"); /** * 源库 * "queryDB" DBManager的自定义名称 * config 连接池配置 */ DBManager queryDb = new DBManager("queryDB",config); /** * 目标数据库连接池配置 * */ ConnPoolConfig tarconfig = new ConnPoolConfig(); tarconfig.setMaxPoolSize(30); tarconfig.setInitialPoolSize(20); tarconfig.setDriverClass("com.mysql.jdbc.Driver"); tarconfig.setUrl("jdbc:mysql://localhost:3306/datatransfer?useUnicode=true&characterEncoding=UTF8&useSSL=true"); tarconfig.setPassword("accp"); tarconfig.setUsername("root"); /** * 目标库 */ DBManager insertDb = new DBManager("insertDB",config); /** *做数据导入处理时的接口 * */ InsertHandler handler = new DBInsertHandlerImpl("t_big_data",null,insertDb); /** * 迁移任务的配置，配置关键信息项 */ ApplicationConfig apConfig = new ApplicationConfig("t_big_data"); apConfig.setQueryThreadNum(8); //指定查询线程数量，不指定默认为8 apConfig.setDataNum(5000); //设置每次从源库中抽取的数量 不指定默认为5000 /** * 源表的匹配条件 * 如果希望源表中符合条件的才迁移，请配置此项，禁止加where,请按照以下格式 */ apConfig.setConditionSql("0=0"); /** * 入库方式 * ** * 增量入库 ZLRK, (暂未实现) * 追加入库 ZJRK, (目标库有源表结构的基础上，增加源表的所有数据到目标库中) * 刷新入库 SXRK, (删除目标库的源表结构，自动创建并导入数据) * 更新入库 GXRK (暂未实现) * ** */ apConfig.setInsertType(InsertType.SXRK); /** * 日志线程，开启时可更直观的从标准输出流里观察到运行状态，不指定默认关闭 */ apConfig.setOpenLogThread(true); /** * 生命周期接口，线程不完全 * 分别有以下几个生命周期方法 * createTableDone() 目标库被创建表结构时调用一次 * queryDone(boolean result, int start, int end, long time,Throwable e) * 有数据从源表中查询到数据时被调用,直到任务完成 * result 查询结果 * start 查询起始行 * end 查询结束行 * time 共耗时 单位:ms * e 查询失败时抛出的异常 * insertDone(boolean result, int num, int errorNum, long time,Throwable e) * 有数据导入到目的库时被调用,直到任务完成 * result 导入结果 * num 导入总数量 * errorNum异常数量 * e 导入失败时抛出的异常 * taskDone(int all, int doneNum, int errorNum, long time,List errorRows, List e) * 任务完成时被调用 * all 任务总数据量 * doneNum 已完成的数据量 * errorNum异常的数据量 * time 总耗时 * errorRows异常的行记录 * e 所有的异常 */ TaskRunLog runLog = new TaskRunLogImpl(); /*** * 任务迁移核心类 * 以下是构造方式之一 * ApplicationConfig apConfig:任务关键配置 * DBManager queryDb: 源库 * InsertHandler handler:导入处理器 */ DataThransferApplication app = new DataThransferApplication(apConfig,queryDb,handler,runLog); /** * 初始化任务 */ app.init(); /** * 任务开始 */ app.start();
kettle迁移数据库
梦幻通灵
01-31 3239
kettle数据迁移实战
使用Kettle做数据迁移
专注成就非凡
06-21 4184
Kettle是一个颇受认可的开源ETL(Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程)工具
Kettle (4) - 跨数据库数据迁移
王敏的专栏
11-26 2909
前面几篇都是做数据抽取，然后输出。本篇介绍如何利用 PDI 实现简单的数据迁移：将 MySQL 数据库 sakila 的 film 表的数据迁移到 sqlite 数据库中。先介绍批处理方法，然后介绍增量更新的方法。
Kettle：跨库（SQLServer->PostgreSQL）同步多张表数据的详细设计过程
USTSD的博客
11-26 2175
〇、参考地址 1、多个Excel实现同步 https://www.wangt.cc/2021/05/kettle%E5%A4%9A%E4%B8%AA%E8%A1%A8%E4%B8%80%E8%B5%B7%E8%BF%81%E7%A7%BB-%E9%80%9A%E8%BF%87%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E9%85%8D%E7%BD%AE%E9%9C%...
ETL工具-kettle9.3环境部署+数据迁移实操
02-27
ETL工具-kettle9.3环境部署+数据迁移实操 Kettle 是一款开源的、纯 Java 编写的、跨平台的、绿色版无需安装的 ...Kettle 环境部署和数据迁移需要注意几个关键点：Java 环境支持、驱动文件下载、环境依赖和报错处理等。
kettle实现数据库迁移
11-27
kettle完整流程实现数据库迁移，包括获取表名称，创建表，抽取表数据。
计算机软件-编程源码-向数据库中导入数据的几种方法.zip
05-25
这个压缩包文件“计算机软件-编程源码-向数据库中导入数据的几种方法.zip”很可能包含了不同方法的源码示例，帮助我们理解如何高效地完成这项工作。以下是对这些方法的详细说明： 1. SQL INSERT 语句： 当数据量较...
spoon 不同库实现表连接查询_kettle简单使用以及进行数据抽取同步
weixin_39616045的博客
12-20 963
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，高效稳定。(源自百度百科)1.使用场景a.不同服务器数据库之间数据同步,或者数据库数据导出的应用b.定时任务2.简单使用kattle进行数据合并+更新+删除+新增下载好kettle,打开spoon.bat,纯java的工具所以需要jre环境,在此不在赘述.见图1图1打开工具后,软件的欢迎页面.右...
数据库迁移 软件Spoon Kettle环境搭配（本人踩过的坑）
Ajaxt的博客
06-30 897
项目需要用到数据库迁移。涉及到了Spoon。 初始版本使用的是Kettle （70+M） 由于是测试 就在本地整了。70M版本java环境要求比较严格，我本身就是1.8的环境。还是不匹配。无奈根据弹框下载两次jre 安装后可以打开。 谁知道70M版本挪到实际项目中的虚拟机里。 由于虚拟机没有网络，无法下载对应版本的环境。 卡住了一段时间。 后来从网上下载了900M版本的Spoon 下载地址如下：https://download.csdn.net/download/Ajaxt/12564180 （八个版本下载
kettle开发篇-批量迁移不同数据库数据-Day1
qq_29061315的博客
11-29 1692
开启掘金成长之旅！这是我参与「掘金日新计划 · 12 月更文挑战」的第2天，点击查看活动详情 前言： 随着企业的发展，和数据库的多种多样，在搭建项目之初，并没有详细考虑到数据库的建设，当增加配置不能满足业务场景需要时，这时候考虑到使用更高性能的数据库，如将sqlserver更换为oracle数据库。或者在搭建新项目时，需要复制原数据库的表结构和数据至其他数据库。怎么快速响应业务要求呢？ 第一...
Kettle(二)数据同步、迁移（基础版）
king的专栏
01-03 8593
Kettle数据同步、迁移基础版本
ETL-使用kettle批量复制sqlserver数据到mysql数据库
qq_38899062的博客
11-21 1052
【代码】ETL-使用kettle批量复制sqlserver数据到mysql数据库。
（最详细图文教程）利用Kettle进行数据的批量迁移
qq_51657546的博客
12-21 9707
（最详细图文教程）利用Kettle进行数据的批量迁移，以及迁移遇到的问题MySql向Oracle导入
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值