![](https://img-blog.csdnimg.cn/2021082117034124.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
推荐系统
文章平均质量分 94
推荐系统常见算法记录分享
天泽28
计算机科学并不仅仅是关于计算机,就像天文学并不仅仅是关于望远镜。
展开
-
推荐系统(二十)谷歌YouTubeDNN(Deep Neural Networks for YouTube Recommendations)
YouTubeDNN包含召回和排序两个模块,目前这个时间点再去按照实用价值评价YouTubeDNN的话,其召回价值大于精排价值,因为目前精排迭代的模型已经很多了,基本上不会有公司使用YouTubeDNN的精排了,其召回应该还应用的很广,目前在我们自己的业务中就有一路YouTubeDNN的召回。原创 2022-04-09 10:09:14 · 3512 阅读 · 8 评论 -
推荐系统(十九)Gate网络(二):百度GemNN(Gating-Enhanced Multi-Task Neural Networks)
百度这篇文章老实讲,创新点是弱了点,这应该也是被SIGIR'21录用为短文的原因吧。个人认为这篇文章最让人感兴趣的反而不是这个模型结构,而是文章中笔墨不多的凤巢目前模型架构的一些trick,然而遗憾的是不知道是因为短文篇幅受限的原因还是不想过多描述的原因(大概率是这个原因),这部分没有被过多的介绍。原创 2022-04-05 13:07:06 · 2519 阅读 · 0 评论 -
推荐系统(十八)Gate网络(一):新浪微博GateNet
CTR预估模型在学术界/工业界进化的路线有明显的几个节点:1. 从单特征到交叉特征,围绕着如何学到更有用的交叉特征,诞生了一系列的模型。2. attention火起来后,被迅速应用到CTR预估领域中,又有很多模型被提出。3. gate网络火起来后,同样也催生了一些模型。但话说,我其实一直没太搞明白『attention』和『gate』本质上的区别是什么?言归正传,这篇博客将要介绍新浪微博张俊林大佬团队提出的GateNet模型,这篇文章我只在arxiv上找到了,并没有找到公开发表的版本。原创 2022-04-04 16:06:49 · 3182 阅读 · 3 评论 -
推荐系统(十七)双塔模型:微软DSSM模型(Deep Structured Semantic Models)
DSSM全称Deep Structured Semantic Models,是伊利诺伊大学厄巴纳-香槟分校(UIUC)与微软于2013年发表在CIKM上的,盲猜是一作在微软实习时的工作,所以基本上是微软的成果。DSSM在业界搜广推的影响力目前来说是超过前面介绍的任何一个模型,基本上统治了召回/粗排阶段。值得一提的是我厂(百度)同样在2013年(那个年头的百度还处在如日中天的状态)搞了个双塔模型simnet,不过并没有发表相应的论文,具体可以参见:[百度NLP | 神经网络语义匹配技术]原创 2022-04-03 13:08:38 · 9231 阅读 · 5 评论 -
推荐系统(十六)多任务学习:腾讯PLE模型(Progressive Layered Extraction model)
PLE模型是腾讯发表在RecSys ’20上的文章,这篇paper获得了recsys'20的best paper award,也算为腾讯脱离技术贫民的大业添砖加瓦了。这篇文章号称极大的缓解了多任务学习中存在的两大顽疾:负迁移(negative transfer)现象和跷跷板(seesaw phenomenon),由此带来了相比较其他MTL模型比较大的性能提升。从论文呈现的实验结果也确实是这样的,但从模型结构上来看,更像是大力出奇迹,即性能的提升是由参数量变多而带来的(仅仅是个人看法~)。原创 2022-03-20 22:24:42 · 15324 阅读 · 2 评论 -
推荐系统(十五)多任务学习:谷歌MMoE(Multi-gate Mixture-of-Experts )
如果又有多个目标,多个tower之间的相关性并不是很强,比如,CTR、点赞、时长、完播、分享等,并且有的目标的数据量并不是很足够,甚至无法单独训练一个DNN(当然,你如果说我单独建模用xgb,那我无话可说),在这种情况下,我们可能就要考虑MTL了,这时候MMoE就可以派上用场了。值得一提的是,MMoE是谷歌发表在KDD'18上的,和阿里的ESMM同年发表,所以相互之间应该独立的两个工作。原创 2022-03-19 10:56:31 · 8999 阅读 · 4 评论 -
推荐系统(十四)多任务学习:阿里ESMM(完整空间多任务模型)
ESMM整个模型结构非常符合我个人的审美:简单、优美。ESSM全称Entire Space Multi-Task Model,也就是全样本空间的多任务模型,该模型有效地解决了CVR建模(转化率预估)中存在的两个非常重要的问题:样本选择偏差(SSB,sample selection bias)和数据稀疏。当然CVR领域还存在其他一些比较重要的问题,比如转化延迟反馈问题,这个不在这篇paper也不在本博客讨论范围之内,后面会写一些这方面的博客。原创 2022-03-12 12:57:23 · 4241 阅读 · 9 评论 -
推荐系统(十三)阿里深度兴趣网络(三):DSIN模型(Deep Session Interest Network)
这篇发表在IJCAI'2019S上的文章,实际上有点对不起标题,与阿里前两篇paper(DIN,DIEN)相比,DSIN是一篇典型的离线跑跑实验,发发paper(俗称灌水?)的论文,个人对这篇论文的评价:估计写这篇paper的团队纯粹为了KPI,他们大概率根本部署到线上,以这篇paper所描述网络结构的复杂度,即使以阿里的工程能力,个人都觉得很难部署到线上,所以这篇paper只提到了在阿里真的数据集(记住是数据集)上做了评估,只字未提部署到淘宝的线上推荐服务中。这篇文章在工业界没有引起什么注意。原创 2022-03-05 10:12:12 · 1558 阅读 · 0 评论 -
推荐系统(十二)阿里深度兴趣网络(二):DIEN模型(Deep Interest Evolution Network)
目前的CTR预估模型都直接把用户行为当做用户兴趣,简单的做个embedding后就进入到MLP中,并没有挖掘潜藏在这些行为之后用户的兴趣。DIEN则通过用户行为序列挖掘背后隐藏的用户兴趣及进化过程。原创 2022-02-26 22:06:39 · 5510 阅读 · 5 评论 -
推荐系统(十一)阿里深度兴趣网络(一):DIN模型(Deep Interest Network)
DIN(Deep Interest Network)模型是阿里妈妈盖坤团队发表在KDD'18上的文章,因为有阿里的光环,因此,这个模型在业界还是比较有名气的,至于最终在其他公司场景下有没有效果,取决于对比的baseline,如果你的baseline足够弱,理论上会有一定效果的提升,当然,如果你的baseline够强,可能一点效果都没有。之前博客介绍的模型都在解决如何有效的学到高阶交叉特征,而DIN的核心思想是把attention机制引入了到用户兴趣建模上。原创 2022-02-26 09:58:17 · 8256 阅读 · 12 评论 -
推荐系统(十)DeepFM模型(A Factorization-Machine based Neural Network)
DeepFM受到谷歌wide&deep模型的启发,是一个左右组合(混合)模型结构,不同的是,在wide部分用了FM模型来代替LR模型。 1. 在wide部分使用FM代替了wide&deep中的LR,有了FM自动构造学习二阶(考虑到时间复杂度原因,通常都是二阶)交叉特征的能力,因此不再需要特征工程。Wide&Deep模型中LR部分依然需要人工的特征交叉,比如【用户已安装的app】与【给用户曝光的app】两个特征做交叉。另外,仅仅通过人工的手动交叉,又回到了之前在讲FM模型中提到的,比如要两个特征共现,否则无原创 2022-02-19 12:02:56 · 3111 阅读 · 0 评论 -
推荐系统(九)PNN模型(Product-based Neural Networks)
PNN模型(Product-based Neural Networks)和上一篇博客介绍的FNN模型一样,都是出自交大张伟楠老师及其合作者,这篇paper发表在ICDM'2016上,是个CCF-B类会议,这个模型我个人基本上没听到过工业界哪个公司在自己的场景下实践过,但我们依然可以看看这篇paper的成果,也许能为自己的业务模型提供一些参考借鉴意义。PNN是通过引入product(可以是内积也可以是外积)来达到特征交叉的目的。原创 2022-02-13 22:40:41 · 4335 阅读 · 6 评论 -
推荐系统(八)FNN模型(FM+MLP=FNN)
FNN全称Factorisation Machine supported Neural Network,如果用一句简短的话概括FNN那就是:FM+MLP,如果再用一句稍显复杂的话概括FNN那就是:FNN是一个两阶段训练的模型,阶段一先训练一个FM模型得到每个field的embedding向量,阶段二,基于阶段一的embedding向量初始化MLP的embedding层,然后训练一个MLP(DNN)。原创 2022-02-12 11:03:57 · 4064 阅读 · 1 评论 -
推荐系统(七)xDeepFM模型
xDeepFM这篇文章是中科大、北邮和微软合作发表在KDD'18上的文章,乍一看论文标题xDeepFM还以为是对DeepFM的改进,实际上xDeepFM是对DCN(deep&cross network)中cross部分做了改进。xDeepFM主要包含三部分:线性部分、CIN部分用于构造高阶交叉特征、普通的DNN部分用于自动学习隐式交叉特征。最终联合训练优化。原创 2022-02-08 15:38:51 · 3054 阅读 · 4 评论 -
推荐系统(六)Deep & Cross Network(DCN)
DCN思想依然是推荐系统模型的永恒主题——**如何得到更有效的交叉特征,从而提高模型的表达能力。**其主要工作是针对wide&deep网络中wide部分做了改进,在wide&deep网络中,wide部分是个简单的线性模型,其交叉特征依然需要人工设计,而在DCN中设计了专门的cross网络用于自动学习交叉特征。原创 2022-01-28 20:05:14 · 3857 阅读 · 0 评论 -
推荐系统(五)wide&deep模型
推荐系统(五)wide&deep推荐系统系列博客:推荐系统(一)推荐系统整体概览推荐系统(二)GBDT+LR模型推荐系统(三)Factorization Machines(FM)推荐系统(四)Field-aware Factorization Machines(FFM)...原创 2021-11-21 17:59:59 · 2874 阅读 · 0 评论 -
推荐系统(四)Field-aware Factorization Machines(FFM)
推荐系统(四)Field-aware Factorization Machines(FFM)推荐系统系列博客:推荐系统(一)推荐系统整体概览推荐系统(二)GBDT+LR模型推荐系统(三)Factorization Machines(FM)上一篇博客介绍了FM模型,这篇博客来介绍下FM模型的改进版FFM模型,看名字也能窥探一二,FFM模型相比较FM模型改进点在于“F”,这个F指的是Field-aware,作者也在论文中提到这个idea受rendle大佬的PITF文章[文献2]启发。这篇文章的核心原创 2021-11-07 18:17:36 · 2654 阅读 · 5 评论 -
推荐系统(三)Factorization Machines(FM)
推荐系统(三)Factorization Machines(FM)推荐系统系列博客:推荐系统(一)推荐系统整体概览推荐系统(二)GBDT+LR模型按照发表年份,这篇博客应该在GBDT+LR之前写的,但因为FM相比较GBDT+LR的内容稍微多些,所以就后写了这篇博客。言归正传,FM是推荐系统领域大佬rendle于2010年发表在ICDM上的论文,是一篇非常非常有影响力的论文,启发了此后10年学术界大量的工作,直接的改进就有引入神经网络的NFM,引入attention的AFM等(关于NFM和AFM这两个原创 2021-10-19 20:38:13 · 4753 阅读 · 0 评论 -
推荐系统(二)GBDT+LR模型
推荐系统(二)LR+GBDT模型 在写这篇博客之前,一度纠结许久,到底该不该起这个标题,因为把LR+GBDT模型放在推荐系统系列里,似乎有些不妥,如果放到计算广告里那才是根正苗红,但目前推荐和广告在模型这一块几乎都是一样的,因此就暂且把这些CTR预估的模型放到推荐系统系列博客里了。最近重读了Facebook发表在ADKDD’14上的论文《Practical Lessons from Predicting Clicks on Ads at Facebook》,从这篇论文标题中的“Practical Le.原创 2021-09-20 23:15:53 · 3407 阅读 · 9 评论 -
推荐系统(一)推荐系统整体概览
自1992年,施乐的帕拉奥图研究中心(PARC,PARC有很多创造性的发明,比如打印机,鼠标,操作系统图形界面等)发明了基于协同过滤的推荐系统[<sup>1</sup>](#refer-anchor-1)后,后面比较出名的工业界应用就是亚马逊的UCF,Netflix的推荐系统等,进入到深度学习后,推荐系统基本在做电商、资讯、视频的公司里都开启了大规模的应用。在PC互联网时代,主线是 **“人找信息”**,所以搜索引擎的地位如日中天,进入到移动互联网时代后,大量的信息井喷,由此开启了 **“信息找人”**。原创 2021-08-26 22:37:45 · 4200 阅读 · 3 评论