数据来源:User Behavior Data from Taobao for Recommendation-数据集-阿里云天池tianchi.aliyun.com
数据集介绍如下图1:数据集基本情况图2:数据集注意项
原数据集有上亿条数据,考虑到软件运行时间,我们选取其中的1百万条数据进行分析。
数据清洗
1、选择子集
所有字段都有价值,无删除。
2、列名重命名
修改后的表如下图图3:修改列名的表
3、删除重复值
该表中,重复值为有价值信息,故不删除。
4、缺失值处理
对所有字段通过count()计算,均为1000000,无缺失值。
5、一致化处理
time_stamp列需要转化为日期格式才能进行分析,我们先转化格式为日期,并分出新列Date_time、date、time、hour,分别为日期(具体到秒)、日期(年月日)、时间(时分)、时间所在小时。
ALTER TABLE userbehavior add COLUMN Date_time TIMESTAMP(0) NULL;
UPDATE userbehavior set Date_time = FROM_UNIXTIME(time_stamp);
ALTER TABLE userbehavior ADD CO