mysql数据清洗_数据分析——使用Mysql清洗数据

数据来源：User Behavior Data from Taobao for Recommendation-数据集-阿里云天池​tianchi.aliyun.com

数据集介绍如下图1：数据集基本情况图2：数据集注意项

原数据集有上亿条数据，考虑到软件运行时间，我们选取其中的1百万条数据进行分析。

数据清洗

1、选择子集

所有字段都有价值，无删除。

2、列名重命名

修改后的表如下图图3：修改列名的表

3、删除重复值

该表中，重复值为有价值信息，故不删除。

4、缺失值处理

对所有字段通过count()计算，均为1000000，无缺失值。

5、一致化处理

time_stamp列需要转化为日期格式才能进行分析，我们先转化格式为日期，并分出新列Date_time、date、time、hour，分别为日期(具体到秒)、日期(年月日)、时间(时分)、时间所在小时。

ALTER TABLE userbehavior add COLUMN Date_time TIMESTAMP(0) NULL;

UPDATE userbehavior set Date_time = FROM_UNIXTIME(time_stamp);

ALTER TABLE userbehavior ADD CO