推荐系统架构实例

1. 京东电商推荐系统

强调了特征工程；

模型上线，用了TensorFlow serving；

人家把线上推荐用的特征和点击/不点击，一起保留在日志里了，这样线下训练更准确（如果只保留UserId和ItemId和Context，则UserId对应的特征会随时间发生变化，造成离线训练和当时线上用的特征不一致）

人家强调对特征和模型这两者的实时更新（近线计算）

多样性：模型输出的结果一般都会非常相似，如果直接给用户看体验会很差；解决：多样性Ranking：贪心法，从第一个商品开始选，当选第二个商品的时候，会重新计算下候选集中每个商品的 score，然后选择一个 score 最高的。我们的方法是看 novelty score 候选商品的产品词分布和之前 N 个商品的产品词分布的 KL 距离。这样做的思路，就是选一个和已有商品最不像的商品

由于纯基于算法的多样性可能会出现 badcase，因此还需要一个规则来进行兜底，确保在极端情况下结果也能接受。

多目标：我们的优化目标有很多，比如点击、转化、时长等，单一的模型训练很难覆盖到所有指标。另外，经常我们需要在各个指标之间进行权衡。解决：多模型 ranking，然后用某种方式把所有模型的结果 combine。

使用多轮排序主要是因为计算资源的限制，无法使用复杂的模型进行大规模的候选集排序。

索引召回：关键词做Key，ItemID做Value，倒排索引；召回的Item往往太多，需要按quality score做截断；一般用LR或者GBDT做截断；也可用更高效的wand(weak and)在索引桶里先做第一轮截断；

KNN召回: 用户/Item向量，可以是：1.都用标签的权值表示；2.用word2vec训练的embedding；使用基于聚类建一级索引和二级索引的方式，加速KNN查找（和乘积量化类似）

 

通过在不同的 Layer 使用不同的哈希函数，保证每个 Layer 之间流量是正交的，这样就可以在不同的 Layer 上做不同的实验。分层的优点：可以用于做实验的流量多，适合快速迭代；缺点：需要严格控制层与层之间的关系，防止相互干扰。

 

2. 快看漫画推荐系统

UserCF那里没有用User-User相似度矩阵来实现，而是用KNN来实现。