7.1 数据的加载机制（全量加载+增量加载）

全量加载

案例介绍：
从技术角度来说，全量加载比增量加载的操作要简单很多，即只需要在数据加载之前，将目标数据表进行清空，再将源数据表中的数据全部加载到目标表中。
通过Kettle工具将数据表full_source中的数据全量加载到数据表full_target中。
案例实现：
数据准备：
假设，现有两张数据表，分别为数据表full_source和数据表full_target，其中数据表full_source为源数据表，数据表full_target为目标数据表。
设置组件
使用Kettle工具，创建一个转换full_load，并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线，具体如图所示。

配置表输入：
新建连接，然后写入删除数据表 full_target的sql语句

配置表输入
新建数据库连接之后，点击获取语句，选择所要的表就会自动生成选择该表的SQL语句

配置表输出
使用之前编辑好的数据库连接，
然后在浏览处选择数据表full_target（若是没有事先建立数据表full_target可以在目标表处输入数据表名full_target，然后点击下方的SQL，会自动根据之前的组件传来的数据字段，生成相应的表）

结果：

增量加载

案例介绍
增量加载是指目标表仅加载源数据表中新增和发生变化的数据。优秀的增量加载机制不但能够将业务系统中的变化数据按一定的频率准确地捕获到并加载到目标表中，同时还不会对业务系统造成太大的压力，也不会影响现有业务。
通过Kettle工具将数据表incremental_source中的数据增量加载到数据表incremental_target中。
案例实现
数据准备
假设，现有两张数据表，分别为incremental_source和incremental_target，其中incremental_source为源数据表，incremental_target为目标数据表。数据表incremental_source和incremental_target的表结构、数据都是相同的
组件配置

配置表输入

配置插入/更新组件
选择需要插入增量的表格，然后选择id为用来匹配的关键字
然后点击获取和更新字段

结果：