黑马程序员《数据清洗》学习笔记第七章数据加载

目录

7.1 数据加载

课后题

操作题一

操作题二

---

7.1 数据加载

        数据的预处理过程，除了包括数据抽取、数据本身的清洗与检验以及数据转换操作，还包括数据加载操作，数据加载是数据预处理过程的最后一个步骤，主要是负责将清洗检验、转换后的高质量数据加载到目标数据库中。

        数据的加载机制：全量加载、增量加载。全量加载是指将目标数据表中的数据全部删除后，进行数据加载的操作；而增量加载是指目标表只加载源数据表中变化的数据，其中变化的数据包含新增、修改和删除的数据。

课后题

操作题一

1.现有两张数据表，分别为full_source和full_target，其中full_source为数据源表，full_target为目标数据表。通过kettle工具，实现将数据表full_source中的数据全量加载到数据表full_target中。

（1）打开Kettle工具，创建转换

        使用Kettle工具，创建一个转换full_load，并添加执行SQL脚本控件、表输入控件、表输出控件以及Hop跳连接线，具体如图7-1所示。

 图 7-1

（2）配置执行SQL脚本控件

        MySQL数据库连接的配置；在SQL框中编写删除数据表full_target中数据的SQL语句；双击“执行SQL脚本”控件，进入“执行SQL语句”界面；单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。，具体如图7-2所示。