推荐系统1—整体架构及召回算法

推荐系统

一.整体结构及指标

链路；

粗排和精排分别用小规模和大规模神经网络。重排主要目的是打散物品，防止全是一类物品

 

二.如何评估策略有效性：ab实验

如何做ab实验：不同层之间正交，同层间互斥

具体实施：

1.把不同策略放在不同层，使得同一个人不会同时被同一件事的两个不同的策略影响；2.同一层里面分不同的桶，留一个对照组，看哪组的指标提升大，做推全

3.为了汇报，留出holdout桶，不做任何实验，作为对照项

4.解决一个矛盾：有些实验指标需要一段时间才能看出来，但有些实验指标如果有效果了最好尽快推全。解决：在推全的层中留个反转桶

 

三.召回

解决的问题：如何通过用户看过的物品

a.算法1：itemcf

思路：根据这个人看过的物品与现有物品的相似度以及对物品的兴趣加权求和

如何计算物品相似程度：

同时喜欢两个物品的人数/分别喜欢两个物品人数的乘积

 

流程：

建立用户点击过物品的索引、物品和它最相似的k个物品的索引

 

b.算法2:swing

和itemcf的区别：如何定义物品的相似度

解决的问题：假如重合的客群里有几个人在一个群里怎，但这两篇笔记其实没有任何关系怎么办

方法：如果两个人喜欢的物品重合度较高，则可能来自一个圈子，要降低他们的权重

overlap是两个人喜欢物品的交集

 

 

阿尔法是超参

 

c.算法三：usercf

思路：基于用户相似性做推荐

思路：两个人关注的作品或者作者类似的越多就越相似，注意降低热门物品权重

计算公式如图

  

由此预估user对item的兴趣