了解数据中不同文件所包含的信息,不同数据文件之间的关系
分析点击数据中用户的点击环境、点击偏好,点击的文章属性等分布
分析点击数据中文章的基本属性,文章的热门程度,文章的共现情况等
分析文章属性文件中(embedding文件和属性特征文件),文章的基本信息
流程
- 读取数据
- 数据预处理
- 数据浏览
a. 用户点击日志文件_训练集
b. 用户点击日志文件_测试集
c. 新闻文章信息数据表
d. 新闻文章embedding向量表示 - 数据分析
a. 用户重复点击
b. 用户点击环境变化分析
c. 用户点击新闻数量的分布
d. 新闻点击次数分析
e. 新闻共现频次:两篇新闻连续出现的次数
f. 新闻文章信息
g. 用户点击的新闻类型的偏好
h. 用户查看文章的长度的分布
i. 用户点击新闻的时间分析
总结
通过数据分析的过程, 我们目前可以得到以下几点重要的信息, 这个对于我们进行后面的特征制作和分析非常有帮助:
- 训练集和测试集的用户id没有重复,也就是测试集里面的用户没有模型是没有见过的
- 训练集中用户最少的点击文章数是2, 而测试集里面用户最少的点击文章数是1
- 用户对于文章存在重复点击的情况, 但这个都存在于训练集里面
同一用户的点击环境存在不唯一的情况,后面做这部分特征的时候可以采用统计特征
用户点击文章的次数有很大的区分度,后面可以根据这个制作衡量用户活跃度的特征
文章被用户点击的次数也有很大的区分度,后面可以根据这个制作衡量文章热度的特征
用户看的新闻,相关性是比较强的,所以往往我们判断用户是否对某篇文章感兴趣的时候, 在很大程度上会和他历史点击过的文章有关
用户点击的文章字数有比较大的区别, 这个可以反映用户对于文章字数的区别
用户点击过的文章主题也有很大的区别, 这个可以反映用户的主题偏好 - 不同用户点击文章的时间差也会有所区别, 这个可以反映用户对于文章时效性的偏好
所以根据上面的一些分析,可以更好的帮助我们后面做好特征工程, 充分挖掘数据的隐含信息。