思维导图:
推荐系统在技术实现上一般划分三个阶段:挖掘、召回、排序。
模型融合:
挖掘的工作就是对用户和物品做非常深入的结构化分析,对各个角度的特征都被呈现出来,并且建好索引,供召回阶段使用,大部分挖掘工作都是离线进行的。
召回:
因为物品太多,每次给一个用户计算推荐结果时,如果对全部物品挨个计算,那将是一场灾难,取而代之的是用一些手段从全量的物品中筛选出一部分比较靠谱的
最后就是排序,针对筛选出的一部分靠谱的做一个统一的论资排辈,最后这个统一的排序就是融合
示意图如下:
在召回阶段,其实就是各种简单的,复杂的推荐算法,比如说基于内容的推荐,会产生一些推荐结果,比如基于物品的协同过滤会产生一些结果,矩阵分解会产生一些结果,等等。
总之,每种算法都会产生一些推荐结果,一般同时还附带给每个结果产生一个推荐结果,是各自算法给出来的。不同算法只负责推举出候选结果,真正最终是否推荐给用户,由另一个统一的模型说了算,这个叫做模型的融合。
典型的模型融合:逻辑回归和梯度提升决策树组合
组合原理:
在推荐系统的模型融合阶段,就要以产品目标为导向。
简单的例子:信息流推荐,如果以提高ctr为目标,则模型融合就要把预估ctr作为本职工作,这个工作一直一来就是逻辑回归完成
逻辑回归:
ctr 预估就是在推荐一个物品之前,预估一下用户点击它的概率有多大,再根据这个预估的点击率对物品排序输出。
逻辑回归经常被选来执行这个任务,它的输出值范围就是0和1之间,刚好满足点击率预估的输出,这是一个基础。因为逻辑回归是广义线性模型,相比于传统线性模型,在线性模型基础上增加了 sigmoid函数。
在对召回阶段不同算法给出的候选物品计算ctr预估时,需要:特征、权重
第一个是特征,就是向量化、向量的方式把一个用户和一个物品的成对组合表示出来。量化方式包括两种:实数和布尔。实数好理解,比如一个用户的年龄,一个用户平均在某个类上每个月的花销等,布尔,就是取值0或1,针对两种类别形式的,比如用户所在的省市,物品的每一个标签。
用户和每一个候选物品都组一下,然后以这种特征化的方式表达出来,就可以计算了,否则类别形式的字段不能直接参与计算。
第二个就是权重,每个特征都有一个权重,权重就是特征的话语权,在决定那些物品最终有机会能走到前台的选秀过程中,用户和物品对这对组合的所有特征都有投票权,只是每个特征的权重不一样,对最终计算ctr影响?️大有小。
有了特征x,还有特征的权重,也是一个维度和特征一样的向量w,通过对 x和w做点击运算,就得到一个传统线性模型的输出,再用sigmoid函数对这个值做一个变换,就得到一个0到1之间的值,也就是预估的ctr
特征工程+线性模型,就是模型融合、ctr预估必备的方法
权重主要是损失函数最小化,就是模型的偏差是否足够小,另一个就是模型的正则化,就是看模型的方差是否足够小,学习模型的权重,经典的方法就是梯度下降一类,但是梯度下降效果收敛很慢。后来google在2013年发表新的学习算法:FTRL,一种结合L!正则和L2正则的在线优化算法
梯度提升决策树GBDT部分请看:https://blog.csdn.net/weixin_41362649/article/details/82803279
模型融合的原理虽然比较简单,但是实际应用中非常的有效。
打尽协同过滤、矩阵分解和线性模型
‘