利用 Kettle 实现数据库之间的数据同步

在本篇博客中，我们将学习如何使用 Kettle（也称为 Pentaho Data Integration）实现数据库之间的数据同步。Kettle 是一个开源的 ETL（Extract, Transform, Load）工具，它可以帮助我们将数据从源数据库提取出来，进行转换和清洗，然后将数据加载到目标数据库。接下来，我们将介绍 Kettle 的基本概念、环境搭建以及如何创建一个数据同步任务。

1. Kettle 简介

Kettle 是一个功能强大的 ETL 工具，它提供了丰富的组件和插件，支持多种数据源和目标，如关系型数据库、文件、XML 等。Kettle 的主要优点是易于使用、灵活性高，并且支持图形化界面操作。

2. 环境搭建

首先，确保你已经安装了 Java 运行环境（JRE）。如果没有，请访问官方网站下载并安装：https://www.java.com/zh-CN/download/

接下来，我们需要下载并安装 Kettle。访问官方网站下载 Kettle 的安装包：https://sourceforge.net/projects/pentaho/files/Data%20Integration/

解压下载的安装包，进入解压后的目录，双击 Spoon.bat（Windows）或 Spoon.sh（Linux）启动 Kettle。

3.数据同步需求

案例需求：需要将Oracle中的人员数据定时同步到MySQL数据库中，这里设置每10分钟同步一次。

4.创建数据转换

1）主对象树-转换-右键新建

2）主对象树-DB连接-右键新建

连接oracle数据库:

连接mysql数据库：

3）核心对象—输入—表输入-拖入界面即可

双击打开表输入

4）核心对象—输出—插入/更新—拖入界面即可

双击打开表插入/更新，有主键时，查询处选择主键，根据主键查询，更新字段【更新】列选择N，否则，第二次执行时还会执行插入，导入提示主键冲突错误

5）核心对象—>转换—>字段选择—拖入界面即可

双击打开字段选择(点击元数据—获取改变的字段即可)

注意Encoding设置为UTF-8,否则抽取的数据会乱码

5.新建作业

1）主对象树-作业-右键新建

2）核心对象—Start/转换/成功—拖入界面并连接

3）双击打开作业
浏览—选择上一步的转换文件目录

4）双击打开Start
设置按天 定时抽取（重复）

5）点击run 定时抽取oracle人员数据到mysql，即可完成