关于2015阿里移动推荐算法大赛的总结（二）——推荐算法

关于2015阿里移动推荐算法大赛的总结（一）

关于2015阿里移动推荐算法大赛的总结（二）——推荐算法

关于2015阿里移动推荐算法大赛的总结（三）——机器学习

虽然开始走错了路，但是也学到了东西，美团技术团队的文档还是不错的，喜欢的童鞋可以经常去瞅瞅，后面我会给链接的~~~~

——————————————————————————————————————————————————————————————

具体流程

基本流程如下，借用美团的图。

从框架的角度看，推荐系统基本可以分为数据层、触发层、融合过滤层和排序层。数据层包括数据生成和数据存储，主要是利用各种数据处理工具对原始日志进行清洗，处理成格式化的数据，落地到不同类型的存储系统中，供下游的算法和模型使用。候选集触发层主要是从用户的历史行为、实时行为、地理位置等角度利用各种触发策略产生推荐的候选集。候选集融合和过滤层有两个功能，一是对出发层产生的不同候选集进行融合，提高推荐策略的覆盖度和精度；另外还要承担一定的过滤职责，从产品、运营的角度确定一些人工规则，过滤掉不符合条件的item。排序层主要是利用机器学习的模型对触发层筛选出来的候选集进行重排序。

在这次比赛中相当于给了数据，不需要考虑数据产生，有可能要考虑存储，暂时先不考虑。所以大体流程是先对数据进行分析，然后对数据进行预处理，进入候选集触发环节，考虑采用协同过滤与位置聚类的方法推荐出集合，然后通过机器学习的方法训练得出最终结果。

理论分析

数据应用

行为类别	行为详情
主动行为数据	搜索、筛选、点击、收藏、下单、支付、评分
UGC	文本评价、上传图片
负反馈数据	左滑删除、取消收藏、取消订单、退款、负评、低评
用户画像	用户人口属性、美团DNA、品类偏好、消费水平、工作地与居住地

用户主动行为数据记录了用户在美团平台上不同的环节的各种行为，这些行为一方面用于候选集触发算法（在下一部分介绍）中的离线计算（主要是浏览、下单），另外一方面，这些行为代表的意图的强弱不同，因此在训练重排序模型时可以针对不同的行为设定不同的回归目标值，以更细地刻画用户的行为强弱程度。此外，用户对deal的这些行为还可以作为重排序模型的交叉特征，用于模型的离线训练和在线预测。

负反馈数据反映了当前的结果可能在某些方面不能满足用户的需求，因此在后续的候选集触发过程中需要考虑对特定的因素进行过滤或者降权，降低负面因素再次出现的几率，提高用户体验；同时在重排序的模型训练中，负反馈数据可以作为不可多得的负例参与模型训练，这些负例要比那些展示后未点击、未下单的样本显著的多。

用户画像是刻画用户属性的基础数据，其中有些是直接获取的原始数据，有些是经过挖掘的二次加工数据，这些属性一方面可以用于候选集触发过程中对deal进行加权或降权，另外一方面可以作为重排序模型中的用户维度特征。

通过对UGC数据的挖掘可以提取出一些关键词，然后使用这些关键词给deal打标签，用于deal的个性化展示。

推荐引擎

1、推荐引擎是不是为不同的用户推荐不同的数据

根据大众行为的推荐引擎，对每个用户都给出同样的推荐，这些推荐可以是静态的由系统管理员人工设定的，或者基于系统所有用户的反馈统计计算出的当下比较流行的物品。

个性化推荐引擎，对不同的用户，根据他们的口味和喜好给出更加精确的推荐，这时，系统需要了解需推荐内容和用户的特质，或者基于社会化网络，通过找到与当前用户相同喜好的用户，实现推荐。

这是一个最基本的推荐引擎分类，其实大部分人们讨论的推荐引擎都是将个性化的推荐引擎，因为从根本上说，只有个性化的推荐引擎才是更加智能的信息发现过程。

2、根据推荐引擎的数据源

其实这里讲的是如何发现数据的相关性，因为大部分推荐引擎的工作原理还是基于物品或者用户的相似集进行推荐。根据不同的数据源发现数据相关性的方法可以分为以下几种：

根据系统用户的基本信息发现用户的相关程度，这种被称为基于人口统计学的推荐（Demographic-based Recommendation）

根据推荐物品或内容的元数据，发现物品或者内容的相关性，这种被称为基于内容的推荐（Content-based Recommendation）

根据用户对物品或者