数据的预处理过程,除包括数据抽取、数据本身的清洗与检验以及数据转换操作外·,还包括数据加载操作。数据加载是数据预处理过程的最后一个步骤,主要负责将数据检验、转换后的高质量数据加载到目标数据库中。
7.1 数据的加载机制
数据的加载机制和数据的抽取机制类似。数据的加载机制主要分为全量加载和增量加载。其中,全量加载是指将目标表数据中的数据全部删除后进行数据加载的操作;而增量加载是指将目标表只加载源数据表中变换的数据,包含新增、修改和删除的数据。
7.1.1 全量加载
全量加载只需在数据加载之前将目标表数据进行清空,再将源数据表中的数据加载到目标表中
下面是关于全量加载的一个例子,具体实践步骤如下。
1.打开Kettle工具,创建转换
2.执行“配置SQL脚本”配件
MySql数据库连接的配置
编写SQL语句