数据清洗读书笔记第四章

1.CSV文件的抽取

1.打开Kettle工具创建一个csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop连接线，用来实现CSV文件数据的抽取功能。
进入“CSV文件输入”控件，进入“CSV文件输入”界面，点击浏览，选取文件csv_extract.csv
点击获取字段按钮，Kettle自动检索CSV文件，对文件中的字段类型，格式，长度，精度等属性进行分析。
2.双击“表输出”，进入表输出界面，点击“新建”按钮，进行配置数据库连接，勾选指定数据库字段复选框，将csv_extract.csv中的字段进行匹配，选择“数据库字段”选项卡。
建立数据库连接
测试成功
“输入字段映射”按钮，弹出“映射匹配对话框”，一次选中“源字段”中的和“目标字段”中的字段，再点击Add按钮，将一对映射字段添加至映射框中。


点击运行，CSV文件中的数据已经被导入数据表中。

2.JSON数据的抽取

1.使用Kettle工具创建转换json_extract.json，并添加JSON input控件、“表输出”控件以及Hop跳连接线，用于抽取JSON文件种的Key值为id，field和value的数据，并保存至数据表json中。

2.配置JSON input控件
双击JSON input控件，进入“JSON 输入”界面。
点击浏览按钮，选择抽取的json_extract.json，点击“增加”按钮，将选择文件添加至“选中文件处”。
单击“字段”选项卡，进入“字段选项卡”界面，添加要抽取的字段。
3.双击JSON input2控件，进入“JSON 输入”界面，勾选“源定义在一个字段里？”复选框，在“从字段获取源”后下拉列表中选择字段名，即data。

点击“字段”选项卡，进入“字段”选项卡界面。添加从字段data中抽取的field和value字段。

4.配置“表输出”控件
双击“表输出”控件，进入“表输出”界面。
单击“新建”按钮，配置数据库连接，配置完成后点击“确认”。

点击右侧“浏览”按钮，选择输出目标表，即数据表json。

点击“字段”选项卡，单击“输入字段映射”按钮，弹出“映射匹配”对话框。

单击“映射匹配”对话框中的“确认”按钮。

点击运行。

3.XML文件的抽取

1.使用Kettle工具创建转换xml_extract，并添加Get data from XML控件，“表输出”控件，以及Hop跳连接线，用于实现抽取XML文件中的标签testDescription、rowID、v1以及v2中的数据。
2.双击Get data from XML控件，进入“XML文件输入”界面
点击“增加”按钮，将所选择的文件路径添加到“选中的文件和目录”处

点击“内容”选项卡，点击“获取XML文档的所有路径”，添加循环读取路径，即AllRows/Rows/Row。


双击表“表输出”控件，进入“表输出”界面。

点击“新建”按钮，配置数据库连接，配置完成后单击确认按钮。

点击“浏览”按钮，选择输出的目标表

勾选“指定数据可字段”复选框，用于将数据表xml字段与XML文件里的字段进行匹配。

单击启动。

4.HTML网页的数据抽取

1.使用Kettle工具创建一个转换html_extract，并添加“自定义常量数据”输入控件、“HTTP client”查询控件和“Java代码”脚本控件，用于实现抽取HTML网页的Web数据的功能。
双击“自定义常量数据”控件，进入“自定义常量数据界面”
定义字段常量filename和User-Agent并指定数据类型为String，单击数据选项卡，在字段常量中html数据所在的URL。
2.双击HTTP client控件，进入HTTP web service界面，在下拉列表中选中URl字段名，即filename，在“结果字段名”处指定结果字段名称，选择默认结果字段result。
3.双击“Java代码”控件，进入“java代码”界面
双击Code Snippits->Common use->Main天界Java脚本代码。