数据清洗 黑马程序员 第四章数据抽取——阅读笔记

4.1 抽取文本数据

在实际应用中，常用的文本文件类型有两种，分别是TSV文件和CSV文件。

4.1.1 TSV文件的抽取

1.打开Kettle工具，创建转换
使用Kettle工具创建一个转换tsv_extract，添加“文本文件输入”控件、“表输出”控件以及Hop跳连接线，用于实现TSV文件数据的抽取功能，具体如下图1所示：

图1 创建转换tsv_extract
2.配置“文本文件输入”控件
双击图1中的“文本文件输入”控件，进入“文本文件输入”界面，单击“浏览”按钮，选择要抽取的文件tsv_extract.tsv；单击“增加”按钮，将要抽取的TSV文件添加到转换“tsv_extract”中；单击“内容”选项卡，清除分隔符处默认分隔符“；”并单击“Insert TAB”按钮，在分隔符处插入一个制表符，取消勾选“头部”复选框；单击"预览记录"按钮，查看文件tsv_extract.tsv的数据是否成功抽取到文本文件输入流中;具体如图2、图3、图4所示：

图2 添加TSV文件至转换tsv_extract中

图3 “内容”选项卡的配置

图4 “字段”选项卡的配置
3. 配置“表输出”控件
双击“表输出”控件，进入“表输出”控件的配置界面，单击"新建"按钮，配置数据库连接，配置完成后单击"确认"按钮,单击目标表右侧的"浏览"按钮，获取目标表，即数据表tsv,勾选图6中的“指定数据库字段”复选框;单击“数据库字段”选项卡,再单击"输入字段映射"按钮，弹出“映射匹配”对话框,将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配,r如图5所示;“表输出”控件配置的最终效果，具体如图6所示:

图5 设置映射匹配

图6 “表输出”控件配置的效果图
4. 运行转换tsv_extract
单击转换工作区顶部的​​运行​​按钮，运行创建的tsv_extract转换，如下图7所示：

图7 运行转换tsv_extract
5.查看tsv数据表中的数据
通过SQLyog工具，查看数据表tsv是否已成功插入五行数据,如图8所示：

图8 tsv数据表

4.1.2 CSV文件的抽取

1.打开Kettle工具，创建转换
使用Kettle工具创建一个转换csv_extract，添加“文本文件输入”控件、“表输出”控件以及Hop跳连接线，