数据抽取工具Kettle使用

本文介绍了在数据迁移过程中,如何使用Kettle这款开源ETL工具进行数据抽取和迁移。通过一个具体的社交产品数据库架构变更的例子,展示了从查询旧系统数据、创建新系统表、字段值转换到数据插入新系统的过程,详细解释了Kettle的表输入、SQL脚本、值映射和表输出等组件的使用方法。
摘要由CSDN通过智能技术生成

在我们开发的过程中,经常碰到多个系统之间需要相互抽取数据的问题,以往我们可以通过写Webservices接口,或者FTP共享来完成,但是这样会存在工作量大,不便于维护,性能不高的问题。今天介绍一款常用的数据抽取工具—-Kettle。
Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。下面我们使用一个Demo程序介绍下其常用组件。

需求

有一个社交类的产品,进行了一次架构变更,数据库表结构模型发生变化了,从老系统升级到新系统时,要把老系统中数据迁移到新系统的数据库里。
下面我们拿群组表数据做个Demo演示数据迁移过程。
1. 现状:
老系统
群组表:group
群组成员表:user_group
新系统
群组表:group_分表,
群组成员表:group_members_分表
我的群组表:mygroups_分表
2. 步骤逻辑梳理
old:老系统
new:新系统
查询群组(old)->创建群组,群组成员,我的群组分表(new)->插入群组数据(new)->插入群组成员数据(new)

数据迁移

1.下载工具

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值