机器学习—— 基于深度学习的推荐系统的实现

一.问题描述

比赛页面：http://lab.toutiao.com/index.php/2016/08/05/2016-byte-cup.html

任务

参赛队伍利用给定的头条问答数据（包括专家标签、问题数据以及问题分发数据，详见数据描述部分），进行针对问题的专家挖掘。给定若干问题，参赛者需要预测哪些专家更有可能回答这些问题。具体的，针对每个问题和一位候选专家，参赛者需要根据计算该专家回答问题的概率。实际运营中，系统会优先向回答概率高的候选专家发送这个问题的回答邀请，直到收到的回答数量达到指定阈值。评估方面，给定一个问题，我们会按照预测概率把候选专家排序，并分别评估排序结果的NDCG@5，NDCG@10最后评分公式为 NDCG@5 * 0.5 + NDCG@10 * 0.5

 

所以：也就是我们需要做的就是针对每个问题和一位候选专家，参赛者需要根据计算该专家回答问题的概率，然后跟给定的专家概率比对评分？

数据集及其解读

本次使用的数据集中一共包含三类信息：

1)   专家标签数据：包括所有专家用户的ID，专家兴趣标签，处理过的专家描述。

2)   问题数据：包括所有的问题的ID，处理过的问题描述，问题分类，总回答数（这个数据有什么用？），精品回答数（这个数据有什么用？），总点赞次数（这个数据有什么用？）。

3)   问题分发数据：29万条问题推送记录；一条推送记录包括一个问题ID，一个专家用户ID，该专家是否回答了了该问题的标注。我们将基于这29万掉问题推送记录划分训练集、验证集和测试集。

 这样说可能并不能帮助我们理解数据到底是怎样组织的

结果提交

二.解决方案

这个问题应该就是要设计一套推荐系统，那我们看看有哪些推荐系统设计方案

基于深度学习的推荐系统论文：点击打开链接

额，看上去还是有点晕，好多知识没有学，这里解释文中提到的几个算法

协同过滤：点击打开链接

大致思路就是要给一个用户推荐商品，那么只要找到和这个用户相似的用户，然后推荐这个相似的用户购买的商品就可以了。大致分为两类，一类是基于用户的临近模型，原理就是找到相似的用户，并推荐这个相似用户的兴趣物品。另一类是基于物品的临近模型，原理是推荐用户感兴趣的物品的相似物品

受限玻尔兹曼机：

 

三.实现框架

 

四.深度模型

＊问题：

1.如果我们采用这个模型的话，那么我们需搞清楚这样几个问题：（1）这个模型的输入输出是什么（2）比赛给定的数据集到底是以怎样的形式给出的 （3）怎样把比赛给定的数据集处理后送到这个模型处理。

2.这套推荐系统由哪几部分组成，分别怎样实现。

3.这个模型怎样实现，用什么语言或者工具、在什么平台上运行。