- 任务1:比赛报名与数据读取
- 步骤1:在报名比赛
- 步骤2:下载比赛数据集,DataA1121.md内为文件链接。
- 步骤3:理解文件逻辑,并使用Pandas读取数据集。
%matplotlib inline
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
plt.rc('font', family='SimHei', size=13)
import os,gc,re,warnings,sys
warnings.filterwarnings("ignore")
- 任务2:比赛数据分析
- 步骤1:用户属性分析,使用可视化图表分析以下内容
- 训练集和测试集中分别有多少用户?
- 用户城市分布有什么规律?
- 平均每个用户会点击多少个文章?
- 点击来源与文章点击次数是否存在关联?
- 步骤2:用户行为分析,使用可视化图表分析以下内容
- 用户点击行为从时间戳上,能够判断连续点击?
- 用户在查看文章时,文章的之间是否存在相似性?
- 用户在查看文章时,点击来源和文章类型是否存在关联?
- 步骤3:文章内容分析,使用可视化图表分析以下内容
- 文章字数与点击次数是否存在关联
- 文章嵌入的向量是否可以用来计算文章相似度,尝试聚类并进行降维可视化
- 文章创建的时间与文章点击的时间是否存在关联?
- 参考资料:零基础入门推荐系统【数据分析】Task2-天池实验室-实时在线的数据分析协作工具,享受免费计算资源
- 步骤1:用户属性分析,使用可视化图表分析以下内容
你可以自己撰写代码,完成自己的数据分析,如下是一些分析结论样例:
trn_click = pd.read_csv('train_click_log.csv')
#trn_click = pd.read_csv(path+'train_click_log.csv', names=['user_id','item_id','click_time','click_environment','click_deviceGroup','click_os','click_country','click_region','click_referrer_type'])
item_df = pd.read_csv('articles.csv')
item_df = item_df.rename(columns={'article_id': 'click_article_id'}) #重命名,方便后续match
item_emb_df = pd.read_csv('articles_emb.csv')
#####test
tst_click = pd.read_csv('testA_click_log.csv')
print('读取数据完成!')
# 对每个用户的点击时间戳进行排序
trn_click['rank'] = trn_click.groupby(['user_id'])['click_timestamp'].rank(ascending=False).astype(int)
tst_click['rank'] = tst_click.groupby(['user_id'])['click_timestamp'].rank(ascending=False).astype(int)
#计算用户点击文章的次数,并添加新的一列count
trn_click['click_cnts'] = trn_click.groupby(['user_id'])['click_timestamp'].transform('count')
tst_click['click_cnts'] = tst_click.groupby(['user_id'])['click_timestamp'].transform('count')
用户点击日志文件_训练集
trn_click = trn_click.merge(item_df, how='left', on=['click_article_id'])
trn_click.head()
#用户点击日志信息
trn_click.info
trn_click.describe()
#训练集中的用户数量为20w
trn_click.user_id.nunique()
#20
#训练集中的用户数量为20w
trn_click.groupby('user_id')['click_article_id'].count().min() # 训练集里面每个用户至少点击了两篇文章
plt.figure()
plt.figure(figsize=(15, 20))
i = 1
for col in ['click_article_id', 'click_timestamp', 'click_environment', 'click_deviceGroup', 'click_os', 'click_country',
'click_region', 'click_referrer_type', 'rank', 'click_cnts']:
plot_envs = plt.subplot(5, 2, i)
i += 1
v = trn_click[col].value_counts().reset_index()[:10]
fig = sns.barplot(x=v['index'], y=v[col])
for item in fig.get_xticklabels():
item.set_rotation(90)
plt.title(col)
plt.tight_layout()
plt.show()
注:此处click_cnts直方图表示的是每篇文章对应用户的点击次数累计图
也可以以用户角度分析,画出每个用户点击文章次数的直方图