零基础入门推荐系统-新闻推荐(一)

赛题理解

赛题理解是切入一道赛题的基础，会影响后续特征工程和模型构建等各种工作，也影响着后续发展工作的方向，正确了解赛题背后的思想以及赛题业务逻辑的清晰，有利于花费更少时间构建更为有效的特征模型， 在各种比赛中， 赛题理解都是极其重要且必须走好的第一步， 今天我们就从赛题的理解出发， 首先了解一下这次赛题的概况和数据，从中分析赛题以及大致的处理方式， 其次我们了解模型评测的指标，最后对赛题的理解整理一些经验。

赛题简介

此次比赛是新闻推荐场景下的用户行为预测挑战赛， 该赛题是以新闻APP中的新闻推荐为背景， 目的是要求我们根据用户历史浏览点击新闻文章的数据信息预测用户未来的点击行为， 即用户的最后一次点击的新闻文章， 这道赛题的设计初衷是引导大家了解推荐系统中的一些业务背景， 解决实际问题。

数据概况

该数据来自某新闻APP平台的用户交互数据，包括30万用户，近300万次点击，共36万多篇不同的新闻文章，同时每篇新闻文章有对应的embedding向量表示。为了保证比赛的公平性，从中抽取20万用户的点击日志数据作为训练集，5万用户的点击日志数据作为测试集A，5万用户的点击日志数据作为测试集B。具体数据表和参数， 大家可以参考赛题说明。下面说一下拿到这样的数据如何进行理解， 来有效的开展下一步的工作。

评价方式理解

理解评价方式， 我们需要结合着最后的提交文件来看， 根据sample.submit.csv， 我们最后提交的格式是针对每个用户， 我们都会给出五篇文章的推荐结果，按照点击概率从前往后排序。 而真实的每个用户最后一次点击的文章只会有一篇的真实答案， 所以我们就看我们推荐的这五篇里面是否有命中真实答案的。比如对于user1来说， 我们的提交会是：

假如article1就是真实的用户点击文章，也就是article1命中， 则s(user1,1)=1, s(user1,2-4)都是0， 如果article2是用户点击的文章， 则s(user,2)=1/2,s(user,1,3,4,5)都是0。也就是score(user)=命中第几条的倒数。如果都没中， 则score(user1)=0。 这个是合理的， 因为我们希望的就是命中的结果尽量靠前， 而此时分数正好比较高。

赛题理解

根据赛题简介，我们首先要明确我们此次比赛的目标： 根据用户历史浏览点击新闻的数据信息预测用户最后一次点击的新闻文章。从这个目标上看， 会发现此次比赛和我们之前遇到的普通的结构化比赛不太一样， 主要有两点：

• 首先是目标上， 要预测最后一次点击的新闻文章，也就是我们给用户推荐的是新闻文章， 并不是像之前那种预测一个数或者预测数据哪一类那样的问题
• 数据上， 通过给出的数据我们会发现， 这种数据也不是我们之前遇到的那种特征+标签的数据，而是基于了真实的业务场景， 拿到的用户的点击日志

所以拿到这个题目，我们的思考方向就是结合我们的目标，把该预测问题转成一个监督学习的问题(特征+标签)，然后我们才能进行ML，DL等建模预测。那么我们自然而然的就应该在心里会有这么几个问题：如何转成一个监督学习问题呢？ 转成一个什么样的监督学习问题呢？ 我们能利用的特征又有哪些呢？ 又有哪些模型可以尝试呢？ 此次面对数万级别的文章推荐，我们又有哪些策略呢？

当然这些问题不会在我们刚看到赛题之后就一下出来答案， 但是只要有了问题之后， 我们就能想办法解决问题了， 比如上面的第二个问题，转成一个什么样的监督学习问题？ 由于我们是预测用户最后一次点击的新闻文章，从36万篇文章中预测某一篇的话我们首先可能会想到这可能是一个多分类的问题(36万类里面选1)， 但是如此庞大的分类问题， 我们做起来可能比较困难， 那么能不能转化一下？ 既然是要预测最后一次点击的文章， 那么如果我们能预测出某个用户最后一次对于某一篇文章会进行点击的概率， 是不是就间接性的解决了这个问题呢？概率最大的那篇文章不就是用户最后一次可能点击的新闻文章吗？ 这样就把原问题变成了一个点击率预测的问题(用户, 文章) --> 点击的概率(软分类)， 而这个问题， 就是我们所熟悉的监督学习领域分类问题了， 这样我们后面建模的时候， 对于模型的选择就基本上有大致方向了，比如最简单的逻辑回归模型。

这样， 我们对于该赛题的解决方案应该有了一个大致的解决思路，要先转成一个分类问题来做， 而分类的标签就是用户是否会点击某篇文章，分类问题的特征中会有用户和文章，我们要训练一个分类模型， 对某用户最后一次点击某篇文章的概率进行预测。 那么又会有几个问题：如何转成监督学习问题？ 训练集和测试集怎么制作？ 我们又能利用哪些特征？ 我们又可以尝试哪些模型？ 面对36万篇文章， 20多万用户的推荐， 我们又有哪些策略来缩减问题的规模？如何进行最后的预测？

读取采样或全量数据：

# debug模式：从训练集中划出一部分数据来调试代码

def get_all_click_sample(data_path, sample_nums=10000): #1万样本
    """
        训练集中采样一部分数据调试
        data_path: 原数据的存储路径
        sample_nums: 采样数目（这里由于机器的内存限制，可以采样用户做）
    """
    all_click = pd.read_csv(data_path + 'train_click_log.csv') 
    #这里的all_click类型是DataFrame，形状是(1112623,9)
    #data_path = './data_raw/'  读取文件
    
    all_user_ids = all_click.user_id.unique() 
    #user_id是数据的一个特征
    #all_click.user_id的类型是Series，形状是1112623维。Series的形状只有shape[0],也就是不是二维的。
    #all_user_ids的类型是一个numpy.ndarray数组,形状是(200000,)
    #unique()是以 数组形式（numpy.ndarray）返回列的所有唯一值（特征的所有唯一值）

    sample_user_ids = np.random.choice(all_user_ids, size=sample_nums, replace=False) 
    #sample_user_ids的类型是numpy数组，形状是(10000,)
    #这里的all_user_ids是一个numpy数组。
    #np.random.choice从给定的1维数组中随机采样的函数。
    #sample_nums=10000，这个是传进来的数值
    
    all_click = all_click[all_click['user_id'].isin(sample_user_ids)]
    #all_click的类型是DataFrame.
    #all_click的形状是(54231, 9)

    all_click = all_click.drop_duplicates((['user_id', 'click_article_id', 'click_timestamp']))
    #all_click的类型是DataFrame,他的形状是(55929, 9)

    return all_click

# 读取点击数据，这里分成线上和线下，如果是为了获取线上提交结果应该讲测试集中的点击数据合并到总的数据中
# 如果是为了线下验证模型的有效性或者特征的有效性，可以只使用训练集
def get_all_click_df(data_path='./data_raw/', offline=True):   #输入的是数据文件夹
    if offline:
        all_click = pd.read_csv(data_path + 'train_click_log.csv')
    else:
        trn_click = pd.read_csv(data_path + 'train_click_log.csv')   #训练数据集
        tst_click = pd.read_csv(data_path + 'testA_click_log.csv')   #测试数据集

        all_click = trn_click.append(tst_click)   #把测试数据集加在训练数据集后面了
    
    all_click = all_click.drop_duplicates((['user_id', 'click_article_id', 'click_timestamp']))
    #drop_duplicates去重，按照行去重了。
    #特征依次是用户编号，点击的文章编号，文章时间戳
    return all_click
    #all_click的类型是pd,形状是(55515, 9)

协同过滤算法
协同过滤（Collaborative Filtering）推荐算法是最经典、最常用的推荐算法。
所谓协同过滤， 基本思想是根据用户之前的喜好以及其他兴趣相近的用户的选择来给用户推荐物品(基于对用户历史行为数据的挖掘发现用户的喜好偏向， 并预测用户可能喜好的产品进行推荐)，一般是仅仅基于用户的行为数据（评价、购买、下载等）, 而不依赖于项的任何附加信息（物品自身特征）或者用户的任何附加信息（年龄， 性别等）。目前应用比较广泛的协同过滤算法是基于邻域的方法， 而这种方法主要有下面两种算法：

• 基于用户的协同过滤算法(UserCF): 给用户推荐和他兴趣相似的其他用户喜欢的产品
• 基于物品的协同过滤算法(ItemCF): 给用户推荐和他之前喜欢的物品相似的物品

• def itemcf_sim(df):
      """
          文章与文章之间的相似性矩阵计算
          :param df: 数据表
          :item_created_time_dict:  文章创建时间的字典
          return : 文章与文章的相似性矩阵
          思路: 基于物品的协同过滤(详细请参考上一期推荐系统基础的组队学习)， 在多路召回部分会加上关联规则的召回策略
      """
      
      user_item_time_dict = get_user_item_time(df)
      
      # 计算物品相似度
      i2i_sim = {}
      item_cnt = defaultdict(int)
      for user, item_time_list in tqdm(user_item_time_dict.items()):
          # 在基于商品的协同过滤优化的时候可以考虑时间因素
          for i, i_click_time in item_time_list:
              item_cnt[i] += 1
              i2i_sim.setdefault(i, {})
              for j, j_click_time in item_time_list:
                  if(i == j):
                      continue
                  i2i_sim[i].setdefault(j, 0)
                  
                  i2i_sim[i][j] += 1 / math.log(len(item_time_list) + 1)
                  
      i2i_sim_ = i2i_sim.copy()
      for i, related_items in i2i_sim.items():
          for j, wij in related_items.items():
              i2i_sim_[i][j] = wij / math.sqrt(item_cnt[i] * item_cnt[j])
      
      # 将得到的相似性矩阵保存到本地
      pickle.dump(i2i_sim_, open(save_path + 'itemcf_i2i_sim.pkl', 'wb'))
      
      return i2i_sim_