新闻推荐竞赛-task02

数据分析的价值

数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性，在推荐场景下主要就是分析用户本身的基本属性，文章基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。

建议：当特征工程和模型调参已经很难继续上分了，可以回来在重新从新的角度去分析这些数据，或许可以找到上分的灵感。

可用的一些方法

• 数据预览
• 直方图看分布
• 用户重复点击
• 用户点击环境变化分析
• 用户点击新闻数量的分布
• 用户点击次数分析 item_click_count = sorted(user_click_merge.groupby('click_article_id')['user_id'].count(), reverse=True)
• 新闻共现频次
• 用户点击的新闻类型的偏好
• 用户查看文章的长度分布
• 用户点击新闻的时间分析
  提升数据敏感性，从数据中得出结论，多做分析

本次数据分析的结论

通过数据分析的过程， 我们目前可以得到以下几点重要的信息， 这个对于我们进行后面的特征制作和分析非常有帮助：

训练集和测试集的用户id没有重复，也就是测试集里面的用户没有模型是没有见过的
训练集中用户最少的点击文章数是2， 而测试集里面用户最少的点击文章数是1
用户对于文章存在重复点击的情况， 但这个都存在于训练集里面
同一用户的点击环境存在不唯一的情况，后面做这部分特征的时候可以采用统计特征
用户点击文章的次数有很大的区分度，后面可以根据这个制作衡量用户活跃度的特征
文章被用户点击的次数也有很大的区分度，后面可以根据这个制作衡量文章热度的特征
用户看的新闻，相关性是比较强的，所以往往我们判断用户是否对某篇文章感兴趣的时候， 在很大程度上会和他历史点击过的文章有关
用户点击的文章字数有比较大的区别， 这个可以反映用户对于文章字数的区别
用户点击过的文章主题也有很大的区别， 这个可以反映用户的主题偏好 10.不同用户点击文章的时间差也会有所区别， 这个可以反映用户对于文章时效性的偏好
所以根据上面的一些分析，可以更好的帮助我们后面做好特征工程， 充分挖掘数据的隐含信息。