正文共3289字。
今年2月做的项目,为了求职又梳理了一遍,希望能进一步提升自己的数据分析思维。博客名字改失败了,得4月中旬才能修改,cry
目录
(1)流量指标:PV(浏览量)、UV(独立访客)、PV/UV(浏览深度)
一、前期准备
(一)数据集下载
本文所用的数据集来自阿里云天池2018年发布的淘宝用户购物行为数据集,用于隐式反馈推荐问题的研究。
该包含了2017年11月25日至2017年12月3日之间,有行为的约一百万随机用户的所有行为(行为包括点击、购买、加购、喜欢)。
(二)软件下载
1、kettle
数据库管理软件,加速导入,一亿数据导入mysql,耗时半小时。
Kettle为绿色免费软件,下载完安装包解压后即可使用。但是需要配置java se 8环境,即jdk1.8,很古早的版本,注意别下载错了,下载后也别误点升级。
2、mysql8.0
我是用的8.0版本,因为使用数据较多,数据储存文件会比较大,如果c盘空间小,不建议安在c盘。
3、tableau
数据分析软件,安装后,需要下载mysql对应版本的驱动才可连接,mysql8.0版本的驱动,可以在mysql installer(mysql下载时附带的文件)里下载。
Ps:这些都是我自己用的软件,也可替换,比如kettle可以用navicat替代。
(三)mysql配置优化
1、为mysql data准备足够大的硬盘空间,我自学时用的数据库和这次的数据库加一起是30G,建议mysql data所在盘空余内存在20G以下的小伙伴,还是换个盘。
2、修改连接时间,避免出现2013错误
Edit→preferences→sql editor→mysql session
3、更改buffer值,避免出现1206错误
show VARIABLES like '%_buffer%';
set GLOBAL innodb_buffer_pool_size=1073741824;
二、项目背景与目标
本文所使用的是阿里巴巴提供的淘宝用户行为数据集UserBehavior,该数据集包含了2017年11月25日-2017年12月3日之间,有行为的约一百万随机用户的所有行为(行为包括点击、购买、加购、喜欢),用以进行隐式反馈推荐问题的研究。
笔者希望通过该数据集,分析淘宝用户的行为路径、购买习惯等内容,优化隐式反馈推荐,帮助网站提升销售,满足用户需求,提升转化率,同时提升自己的数据分析技能。
三、分析框架
本文主要从网站运营(来了多少用户)、用户(用户是谁用户干了什么)、商品(用户的商品偏好)三个维度进行分析和建议,具体内容见下图:
四、数据读取与处理
(一)数据介绍
本文所使用的是阿里巴巴提供的淘宝用户行为数据集UserBehavior,该数据集包含了2017年11月25日-2017年12月3日之间,有行为的约一百万随机用户的所有行为(行为包括点击、购买、加购、喜欢),用以进行隐式反馈推荐问题的研究。
数据集的组织形式和MovieLens-20M类似,即数据集的每一行表示一条用户行为,由用户ID、商品ID、商品类目ID、行为类型和时间戳组成,并以逗号分隔。关于数据集中每一列的详细描述如下:
用户行为类型:
数据集大小:
本文内容全部基于该数据集,笔者并