微信的look-alike的启发

前言

微信搞的look-alike很有意思哈，我们来看下，发现对我们做内容推荐还是很有启发的。

解决问题

1）马太效应
推荐系统里投放数据具有马太效应，长尾数据无法获得足够曝光得到用户反馈，头部数据则越来越得到更多的曝光。导致穷者愈穷，富者愈富。长此以往，会影响整个推荐的效果。这跟推荐的方式有关系，现有推荐强依赖于用户行为，无行为或者少行为的内容无法得到更可靠地预测，也就无法得到更大概率地曝光。

2） 实时和准确
传统的look-alike是个很好地解决方案，但是无法兼顾实时性和有效性。实时look-alike依赖于“种子=>用户”的计算，受限于用户表达能力和种子的表达能力，则会导致准确率下降。

怎么解决

基本思路

推荐系统里的任何内容，总会多多少少地积累一定的点击量，而这就提供了某种途径，可以根据这些点击用户找其相似的用户群体。与常规推荐方式不同的是，look-alike会基于种子用户预测，点击某内容的种子用户作为输入，而非内容特征做输入，来预测其相似用户群体，然后推送共点击内容。同时，调整look-alike学习模型，并优化用户表达，从而达到效率和效果兼顾。

具体做法

1）用户表达
用attention合并层来提高用户表达能力，能有效降低强特征的过拟合，并学到弱特征。通用的DNN的concate层，会强化强特征，弱化弱特征，不符合对用户所有特征的表达全面地要求。只有用户的表达维度足够充分，才能在用户找相似用户时，提供更精准地内容推荐。先借助类似YouTube的模型，来学习用户表达，但是嵌入了attention层。

每个用户有50次点击，正负样本比例1:10，以NCE的方式作负采样，根据频率排序，采样概率$P(x_i)=\frac{log(k+1)-log(k+1)}{log(D+1)}$，$k$表示第$i$个item的排序位置。最后soft-max加交叉熵优化模型参数。

2）种子的全局和局部
用global attention unit 来学习种子的全局特征；用local attention unit 来学习种子的局部表达，与目标用户个人相关的属性。

选择具有最新点击行为的$n$用户作为种子用户，前面已经学到了用户表达 n × m n \times m