m0_59775560的博客

原创 【无标题】

原创 数据清洗-黑马程序员_学习笔记（第七章）

一、全量加载介绍：全量加载是指将目标数据表中的数据全部删除后，进行数据加载的操作。目标：通过Kettle工具将数据表full_source中的数据全量加载到数据表full_target中1、打开Kettle工具，创建转换2、配置执行SQL脚本控件...

原创 数据清洗—黑马程序员（学习笔记）__第六章

1数据粒度转换1.1 打开Kettle工具，创建转换使用Kettle工具，创建一个转换granularity，并添加表输入控件、字段选择控件、排序记录控件、记录集连接控件、过滤控件、空操作控件、表输出控件以及Hop跳连接线，具体如图所示。...

原创 数据清洗—黑马程序员（学习笔记）

1完全去重1.1 打开Kettle工具，创建转换通过使用Kettle工具，创建一个转换repeat_transform，并添加“CSV文件输入”控件、“唯一行（哈希值）”控件以及Hop跳连接线，具体如图所示。图1 创建转换1.2配置CSV文件输入控件1）双击“CSV文件输入”控件，进入“CSV文件输入”界面。图2 csv配置2）单击【浏览】按钮，选择要进行完全去重处理的CSV文件merge.csv；再单击【获取字段】按钮，Kettle会自动检索CSV...

原创 数据清洗——黑马程序员（学习笔记）

1抽取CSV文件1.1 打开Kettle工具，创建转换通过使用Kettle工具，创建一个转换csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop跳连接线，具体如图所示。图1 创建转换1.2配置CSV文件输入控件1）双击“CSV文件输入”控件，进入“CSV文件输入”界面。图2 csv配置2）单击【浏览】按钮，选择要抽取的文件csv_extract.csv。图3 选择3）单击【获取字段】按钮，Kettle自动检索CSV文件，.

原创 数据清洗—黑马程序员（学习笔记）

1作业1.1 新建一个作业 通过使用Kettle工具，创建一个作业，并添加Start控件、发送邮件控件、成功控件以及作业跳连接线，具体如图1所示。 图1 创建作业1.2 配置start控件 双击“Start”控件，进入“作业定时调度”界面，单击“类型”处的下拉框，选择“时间间隔”定时，并设置以秒计算的间隔是10，以分钟计算的间隔是0（即作业运行10秒后发送邮件），如图2所示。图2 start配置1.3 发送邮件设置 双击“发送邮件”控件...

原创 数据清洗——黑马程序员（学习笔记）

也一样