前言
一、数据源
数据来源于阿里天池竞赛:阿里移动推荐算法数据集_数据集-阿里云天池
竞赛数据包括两个部分。
第一部分是脱敏后的用户在移动端行为数据(D),对应文件是tianchi_mobile_recommend_train_user.zip,包含如下字段:
第二个部分是脱敏后的商品子集(P),文件名为tianchi_mobile_recommend_train_item.csv,包含如下字段:
我下载的是zip文件,有1225万条数据,数据量大,所以选取了前10万条做数据分析。
二、数据清洗
导入数据到mysql
使用Navicat工具对数据进行操作,首先将数据导入mysql数据库中,注意所有的字段都按照默认格式varchar导入,导入成功后再设计表,按照需求修改字段格式。数据概览如下:
重复值
SELECT *,COUNT(user_id) from data
GROUP BY user_id,item_id,behavior_type,user_geohash,item_category,time
having count(user_id)>1
有重复,但根据业务理解不需要处理,结果如下: