关于天池赛中零基础入门推荐系统 - 新闻推荐Task02数据分析

---

前言

经过上一篇依据Datawhale的针对天池赛中零基础入门推荐系统 - 新闻推荐Task01的文章，接下来本文将对此次赛题中的数据进行分析，希望能够加深对推荐算法的一些认知。

| 打卡记录NO.2

一、关于数据分析

数据分析的目的：

1. 熟悉整个数据集的基本情况及其特征之间的相关性；
2. 熟悉文件中包含的数据及文件中每个字段的含义；

数据分析的作用：

1. 在推荐场景下，分析用户和文章的基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程；
2. 当特征工程和模型调参已经很难继续提高分数时，可以试着从新的角度去分析这些数据。

二、实现步骤

1.引入库

代码如下：

%matplotlib inline
import pandas as pd
import numpy as np

import matplotlib.pyplot as plt
import seaborn as sns
plt.rc('font', family='SimHei', size=13)

import os,gc,re,warnings,sys
warnings.filterwarnings("ignore")

2.读取数据：

其中，path为保存原数据的存储路径。

path = './data_raw/'

#####train
trn_click = pd.read_csv(path+'train_click_log.csv')
item_df = pd.read_csv(path+'articles.csv')
item_df = item_df.rename(columns={
   'article_id': 'click_article_id'})  #重命名，方便后续match
item_emb_df = pd.read_csv(path+'articles_emb.csv')

#####test
tst_click = pd.read_csv(path+'testA_click_log.csv')