目录
7.1 数据加载
数据的预处理过程,除了包括数据抽取、数据本身的清洗与检验以及数据转换操作,还包括数据加载操作,数据加载是数据预处理过程的最后一个步骤,主要是负责将清洗检验、转换后的高质量数据加载到目标数据库中。
数据的加载机制:全量加载、增量加载。全量加载是指将目标数据表中的数据全部删除后,进行数据加载的操作;而增量加载是指目标表只加载源数据表中变化的数据,其中变化的数据包含新增、修改和删除的数据。
课后题
操作题一
1.现有两张数据表,分别为full_source和full_target,其中full_source为数据源表,full_target为目标数据表。通过kettle工具,实现将数据表full_source中的数据全量加载到数据表full_target中。
(1)打开Kettle工具,创建转换
使用Kettle工具,创建一个转换full_load,并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线,具体如图7-1所示。
图 7-1
(2)配置执行SQL脚本控件
MySQL数据库连接的配置;在SQL框中编写删除数据表full_target中数据的SQL语句;双击“执行SQL脚本”控件,进入“执行SQL语句”界面;单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。,具体如图7-2所示。