2021-09-27

数据清洗笔记

CSV文件的抽取

一.打开Kettle工具，创建转换csv_extract

二.配置“CSV文件输入”控件
1.双击“CSV文件输入”控件进入界面，单击下图中“浏览”按钮，选择要抽取的文件csv_extract.csv。

2.单击下图中“获取字段”按钮自动检索CSV文件，单击“浏览”按钮，查看文件csv_extract.csv中的数据是否抽取到CSV文件输入流中。单击“关闭”按钮，完成“CSV文件输入”控件配置。

三.配置“表输出”控件
1.双击“表输入”控件进入界面，单击“新建”按钮，配置数据库连接，完成后单击“确认”按钮。

2.单击“浏览”按钮，选择输出的目标表csv_extract.csv，勾选“指定数据库字段”复选框，用于将数据表csv的字段与CSV文件中的字段进行匹配。

3.单击“输入字段映射”按钮，弹出“映射匹配”对话框，依次选中“源字段”中的字段和“目标字段”中的对应字段进行映射。完成后单击“确定”按钮完成配置。

四.运行转换csv_extract

JOSN文件的数据抽取

一.打开Kettle工具，创建转换json_extract

二.配置JOSN input控件
1.双击JOSN input控件进入“JOSN输入”界面。单击“浏览”按钮，选择要抽取的JOSN文件josn_extract.josn。单击“增加”按钮，将所选择的文件添加到“选中的文件”处。

2.单击“字段”界面，添加要抽取的数据字段，单击“确定”按钮，完成JOSN input控件的配置。

3.双击JOSN input2控件，进入“JOSN输入”界面，勾选“源定义在一个字段里？”复选框，在“从字段获取数据源”后的下拉列表中选择字段名data。

4.单击“字段”选项卡进入界面，添加从字段data中抽取的field和value字段，单击“确定”完成JOSN input2控件的配置。

三.配置“表输出”控件
1.双击“表输出”控件进入界面，单击“新建”按钮，配置数据库连接，完成后单击“确认”按钮。

2.单击“浏览”按钮，选择输出的目标表josn，勾选“指定数据库字段”复选框，用于将数据表josn的字段与JOSN文件中的字段进行匹配。

3.单击“输入字段映射”按钮，弹出“映射匹配”对话框，依次选中“源字段”中的字段和“目标字段”中的对应字段进行映射。完成后单击“确定”按钮完成配置。

四.运行转换josn_extract

TSV文件的抽取

一.打开Kettle工具，创建转换tsv_extract

二.配置“文本文件输入”控件
1.双击“文本文件输入”控件进入界面。单击“浏览”按钮，选择要抽取的文件tsv_extract，单击“增加”按钮，将要抽取的TSV文件添加到转换tsv_extract中。

2.单击“内容”选项卡，切换到该界面，消除分隔符处的默认分隔符“；”并单击Insert TAB按钮，在分隔符处插入一个制表符，取消勾选“头部”复选框。

3.单击“字段”选项卡切换到该界面。单击“预览记录”按钮，查看文件tsv_extract.tsv的数据是否成功抽取到文本文件输入流中。

三.配置“表输出”控件
1.双击“表输入”控件进入界面，单击“新建”按钮，配置数据库连接，完成后单击“确认”按钮。

2.单击“浏览”按钮，选择输出的目标表tsv_extract.tsv，勾选“指定数据库字段”复选框，用于将数据表tsv的字段与TSV文件中的字段进行匹配。

3.单击“输入字段映射”按钮，弹出“映射匹配”对话框，依次选中“源字段”中的字段和“目标字段”中的对应字段进行映射。完成后单击“确定”按钮完成配置。

四.运行转换tsv_extract

HTML网页的数据抽取

一.打开Kettle工具，创建转换html_extract

二.配置“自定义常量数据”控件
双击“自定义常量数据”控件进入该界面。单击“元数据”选项卡，在字段常量filename添加html数据所在的URL地址，即“http://movie.douban.com/chart”;在字段常量User-Agent添加用户代理，单击“确定”按钮完成配置。

三.配置“HTTP client”控件
双击HTTP client控件，进入HTTP web service界面。勾选“从字段中获取URL？”复选框，选择URL字段名filename，在“结果字段名”处指定结果字段名称，这里选择默认结果字段result。单击“确定”按钮完成配置。

四.配置“JAVA代码”控件
双击“JAVA代码”控件，进入界面。双击Code Snippets→Common use→Main，添加JAVA脚本代码的主方法，在代码框中编写抽取HTML网页数据的Java脚本代码。单击“字段”选项卡，用于添加新生成的字段，单击“参数”选项卡，用于传入参数。单击“确定”按钮完成配置。

五.运行转换html_extract

XML文件的抽取

一.打开Kettle工具，创建转换xml_extract

二.配置Get data fron XML控件
1.双击Get data fron XML控件进入“XML文件输入”界面。单击“浏览”按钮，选择要抽取的XML文件XML_extract.XML。单击“增加”按钮，将所选择的文件添加到“选中的文件”处。

2.单击“内容”选项卡进入界面，单击“获取XML文档的所有路径”添加循环读取路径//AllRows/Rows/Row。

3.单击“字段”选项卡进入界面，添加要抽取的字段。单击“确定”按钮完成配置。

三.配置“表输出”控件
1.双击“表输入”控件进入界面，单击“新建”按钮，配置数据库连接，完成后单击“确认”按钮。

2.单击“浏览”按钮，选择输出的目标表xml_extract.xml，勾选“指定数据库字段”复选框，用于将数据表xml的字段与XML文件中的字段进行匹配。

3.单击“输入字段映射”按钮，弹出“映射匹配”对话框，依次选中“源字段”中的字段和“目标字段”中的对应字段进行映射。完成后单击“确定”按钮完成配置。

四.运行转换xml_extract