【无标题】第七章 数据的加载

第七章

7.1数据的加载

7.1.1全量加载

1.数据准备

假设，现有两张数据表，分别为数据表full_source和数据表full_target，其中数据表full_source为源数据表，数据表full_target为目标数据表。

2.打开Kettle工具，创建转换

3.配置执行SQL脚本控件

 

 

 

4..配置表输入控件

 

 

5.配置表输出控件

 

6.运行转换full_load

 

7.1.2增量加载

1.数据准备

假设，现有两张数据表，分别为incremental_source和incremental_target，其中incremental_source为源数据表，incremental_target为目标数据表。数据表incremental_source和incremental_target的表结构、数据都是相同的。

2.创建转换

 

 

3.配置表输入控件

 

 

4.配置插入/更新控件

 

5.执行转换

 

 

6.查看数据

 

7.2数据的批量

1.数据准备

假设，现有一个CSV格式的微博用户信息文件weibo_user.csv，其中包含了用户id、用户名称、用户性别、用户简介等字段。

 

2.创建转换

 

3.配置CSV文件输入控件

 

 

4.配置表输出控件

 

 

 

 

 

5.执行转换batch_load