零基础入门推荐系统【数据分析】Task2

数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性，在推荐场景下主要就是分析用户本身的基本属性，文章基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。

数据预处理

对用户的点击时间进行排序还有计算用户的点击次数。

数据浏览

train_click_log.csv文件数据中每个字段的含义

• user_id: 用户的唯一标识
• click_article_id: 用户点击的文章唯一标识
• click_timestamp: 用户点击文章时的时间戳
• click_environment: 用户点击文章的环境
• click_deviceGroup: 用户点击文章的设备组
• click_os: 用户点击文章时的操作系统
• click_country: 用户点击文章时的所在的国家
• click_region: 用户点击文章时所在的区域
• click_referrer_type: 用户点击文章时，文章的来源

训练的数据中总共有20w，可以通过直方图来看一下每一项的数据分布。从点击时间clik_timestamp来看，分布较为平均，可不做特殊处理。由于时间戳是13位的，后续将时间格式转换成10位方便计算。

从点击环境click_environment来看，仅有1922次（占0.1%）点击环境为1；仅有24617次（占2.3%）点击环境为2；剩余（占97.6%）点击环境为4。

从点击设备组click_deviceGroup来看，设备1占大部分（60.4%），设备3占36%。

新闻文章信息数据表

• click_article_id：文章id
• category_id： 文章类型id
• created_at_ts：文章创建时间戳
• words_count：文章字数

总共 364047篇文章

数据分析

查看用户的重复点击。可以看出：有1605541（约占99.2%）的用户未重复阅读过文章，仅有极少数用户重复点击过某篇文章。 这个也可以单独制作成特征

用户点击环境变化分析

可以看出绝大多数数的用户的点击环境是比较固定的。思路：可以基于这些环境的统计特征来代表该用户本身的属性

用户点击新闻数量的分布

点击次数排前50的用户的点击次数都在100次以上。思路：我们可以定义点击次数大于等于100次的用户为活跃用户，这是一种简单的处理思路， 判断用户活跃度，更加全面的是再结合上点击时间，后面我们会基于点击次数和点击时间两个方面来判断用户活跃度。

新闻点击次数分析

点击次数最多的前100篇新闻，点击次数大于1000次。
点击次数最多的前20篇新闻，点击次数大于2500。思路：可以定义这些新闻为热门新闻， 这个也是简单的处理方式，后面我们也是根据点击次数和时间进行文章热度的一个划分。