数据预处理期末实验：工单处理

期末实验：工单处理

1.1 实验目的

利用kettle的“START”，“转化”，“成功”， “Excel输入”，“过滤记录”，“字段选择”， “剪切字符串”，“字符串操作”，“Concat Fields”，“JavaScript代码”，“CSV文件输入”，“文本文件输出”等组件完成工单处理作业。

1.2 实验要求

新建工单处理作业，包括工单总体处理及工单拆分两个转换，数据处理的1到3步在工单总体处理里完成，第四步在工单拆分里完成，单独的转换名称要求与作业里转换的名称一致。

1. 删除项目编号为空的数据

2.增加省份缩写、客户信息、处理时长三列：

   省份缩写：截取项目编号的3到4位，结果要求大写

   客户信息：合并省份及运营商两列数据得到

   处理时长：关闭时间-建单时间 要求取天数,如果当前环节不是“结束”，则此字段为空

3.数据保存：

       将处理完的数据保存为工单.csv，以逗号分隔

       存储字段要求（顺序一致）：

工单流水号,工单标题,省份缩写,客户信息,专业,项目编号,建单时间,关闭时间,处理时长

4.处理第三步保存的工单.csv文件

      将数据根据工单流水号拆分为两部分，分别存储到不同的文件，存储字段不变

      拆分规则：

NR开头—存储到需求工单.csv，以逗号分隔，并将工单流水号的NR去除

              QU开头—存储到问题工单.csv，以逗号分隔，并将工单流水号的QU去除

1.3 实验原理

新建工单处理作业，包括工单总体处理及工单拆分两个转换，利用kettle的“START”，“转化”，“成功”，利用“Excel输入”，“过滤记录”，“字段选择”，“剪切字符串”，“字符串操作”，“Concat Fields”，“JavaScript代码”，“CSV文件输入”，“文本文件输出”等组件完成工单处理作业。

1.4 实验步骤

（1）创建作业: 点击新建按钮，在下拉菜单中点击选择作业，这样创建了一个作业文件，点击保存，重命名该作业文件，保存在某个指定的路径。

（2）创建转换：点击新建按钮，在下拉菜单中点击选择转换，这样创建了一个转换文件，点击保存，重命名该转换文件，保存在某个指定的路径。

在本实验中，新建工单处理作业，包括工单总体处理及工单拆分两个转换。

（3）在新建的作业文件上开始可视化编程：需要的主要组件为“START”、“转化”，“成功”,选择好组件后，连接好组件，组件支持自定义命名。

（4）在新建的转换文件上开始可视化编程：需要的主要组件为“Excel输入”，“过滤记录”，“字段选择”， “剪切字符串”，“字符串操作”, “Concat Fields”，“JavaScript代码”，“CSV文件输入”，“文本文件输出”，选择好组件后，连接好组件，组件支持自定义命名。

（5）工单总体处理各组件的配置：

①“Excel输入”的配置如下图：

②过滤空值，“过滤记录”的配置如下图：

③“字段选择”的配置如下图：

④截取项目编号3到4位，“剪切字符串”的配置如下图：

⑤将省份缩写变为大写，“字符串操作”的配置如下图：

⑥合并省份及运营商两列，“Concat Fields”的配置如下图：

⑦将建单时间，关键时间转换为时间类型，以便后续操作“字段选择2”的配置如下图：

⑧取天数差，“JavaScript代码”的配置如下图：

⑨按要求输出关键字段，“字段选择3”的配置如下图：

⑩“文本文件输出”的配置如下图：

(6)工单拆分各组件的配置：
①“CSV文件输入”的配置如下图：

②区别选取NR，和QU开头的工单流水号，“过滤记录”的配置如下图：

③删除开头NR或QU，“字符串替换”的配置如下图：

④“文本文件输出”的配置如下图：

(7)运行程序：点击开始运行程序，在弹出的对话框中，选择运行该程序。

1.5 实验结果