淘宝用户行为分析

一、项目介绍

1.概述

        本数据集是阿里巴巴提供的一个淘宝用户行为数据集（数据来源：数据集-阿里云天池），包含了2017年11月25日至2017年12月3日之间有行为的约一百万随机用户的所有行为（行为包括点击、购买、加购、喜欢）。数据集的每一行表示一条用户行为，由用户ID、商品ID、商品类目ID、行为类型和时间戳组成，并以逗号分隔。关于数据集中每一列的详细描述如下：

列名称	说明
用户ID	整数类型，序列化后的用户ID
商品ID	整数类型，序列化后的商品ID
商品类目ID	整数类型，序列化后的商品所属类目ID
行为类型	字符串，枚举类型，包括('pv', 'buy', 'cart', 'fav')
时间戳	行为发生的时间戳

        用户行为类型共有四种，它们分别是：

行为类型	说明
pv	商品详情页pv，等价于点击
buy	商品购买
cart	将商品加入购物车
fav	收藏商品

2.数据清洗

        在Sequel Pro中，创建新表，将原数据集导入。考虑原数据集数据量大，本次分析随机抽取数据集中十分之一用户行为数据，并对数据进行如下清洗：

        （1）缺失值处理：建立新表时，设置各字段not null，确保导入数据无空值；

        （2）去重：对数据中存在的重复数据进行删除；

        （3）时间戳格式化处理：将时间戳改为可读的时间形式，并新建两列，分别为日期（%Y-%m-%d ）、时间（%H）；

        （4）异常值处理：限定时间范围为2017年11月25日至2017年12月3日，删除不在时间范围内的异常数据。

        最终得到随机抽取的数据集相关字段如下：