第1关：MapReduce综合应用案例 — 电信数据清洗

根据提示，在右侧编辑器补充代码，对数据按照一定规则进行清洗。

数据说明如下： a.txt

数据切分方式：,

数据所在位置：/user/test/input/a.txt

15733218050,15778423030,1542457633,1542457678,450000,530000

15733218050	15778423030	1542457633	1542457678	450000	530000
呼叫者手机号	接受者手机号	开始时间戳（s）	接受时间戳（s）	呼叫者地址省份编码	接受者地址省份编码

Mysql数据库:

用户名：root 密码：123123

数据库名：mydb

用户表：userphone

列名	类型	非空	是否自增	介绍
id	int(11)	√	√	用户ID
phone	varchar(255)			手机号
trueName	varchar(255)			真实姓名

地址省份表：allregion

列名	类型	非空	是否自增	介绍
id	int(11)	√	√	用户ID
CodeNum	varchar(255)			编号
Address	varchar(255)			地址

清洗规则：

• 处理数据中的时间戳（秒级）将其转化为2017-06-21 07:01:58，年-月-日 时:分:秒 这种格式；

• 处理数据中的省份编码，结合mysql的表数据对应，将其转换成省份名称；

• 处理用户手机号，与mysql的表数据对应，关联用户的真实姓名；

• 处理数据中的开始时间与结束时间并计算通信时长(以秒为单位)；

• 设置数据来源文件路径及清洗后的数据存储路径： 数据来源路径为： /user/test/input/a.txt （HDFS）； 清洗后的数据存放于：/user/test/output (HDFS)。

数据清洗后如下：

邓二,张倩,13666666666,15151889601,2018-03-29 10:58:12,2018-03-29 10:58:42,30,黑龙江省,上海市

邓二	张倩	13666666666	15151889601	2018-03-29 10:58:12	2018-03-29 10:58:42	30	黑龙江省	上海市
用户名A	用户名B<