搜推广
文章平均质量分 90
搜索推荐广告排序
贝壳er
记录和学习
展开
-
推荐系统中的bias&&debias(二):position bias的消偏
前面提到过position bias,即用户倾向于点击排在前面的结果,这使得“优势位置”的item会获得更高的后验点击率。这本质上是和用户的注意力,用户对item的情绪有关,而和用户的真实兴趣无关,这显然是不利用推荐模型的学习的。关于position bias的消偏,主要有以下几种:方法一:将位置信息作为特征加入到模型的输入中这是最简单的一种消偏方式,在训练时把位置信息作为特征,online infer时,由于无法获取位置特征,模型会自动取一个默认值,比如0,这个值可以借助AB实验来调整,作为一个原创 2021-10-11 23:28:33 · 1929 阅读 · 1 评论 -
推荐系统中的bias&&debias(一):bias的成因、类型和影响
推荐系统中的bias在推荐业务中无可避免,且会对展示效果和推荐生态都会造成负面影响。推荐广告领域的海量论文大部分都聚焦在数据特征的表达,以及模型对用户行为数据的拟合上。如果不考虑固有的偏差,盲目地对数据进行拟合,会导致很多严重的问题,如线下评价与在线指标的不一致,损害用户对推荐服务的满意度和信任度等。前一段时间实习的时候接触到一些debias的工作,正好借此机会系统的学习和整理了下这块的一些方法,第一篇作为总览先介绍下推荐系统中bias产生的原因,bias的类型以及bias会造成的影响,至于debias后原创 2021-10-10 22:23:01 · 1590 阅读 · 1 评论 -
推荐系统中的用户兴趣建模(五):召回阶段的用户多兴趣建模
众所周知,业界的推荐系统是一个漏斗状的级联结构,大体可分为召回和排序两个阶段,召回阶段我们根据用户的兴趣从海量的商品中去检索出相关候选 Item,满足推荐相关性和多样性需求。而排序阶段,依据用户兴趣会对候选集进行打分排序截取TopN Item,最终给用户产生推荐。前面的一些文章的方法基本上都用于ranking阶段,即使是最简单的DIN模型,如果其用于召回阶段也是极其耗时的。而传统的matching阶段的用户embedding:协同过滤的隐向量。缺点:sparsity problem, 计算资源耗费大原创 2021-10-06 18:32:02 · 1320 阅读 · 0 评论 -
推荐系统中的用户兴趣建模(四):用户长期兴趣——超长序列的建模方法
前面说到的几个模型序列的长度都不会太长,也即考虑的是用户的短期兴趣,例如DIN 和 DIEN 保留的历史行为长度都小于 100。但有实验表明,增加序列的长度能取得效果的提升:从上图中可以发现,当用户行为序列长度增加到1000时,AUC会有1.5%的提升,这种幅度的提升在CTR预估任务当中是非常显著的提升了。但存在的问题是:随着用户历史行为特征序列长度越来越长,将其应用于线上系统变得越来越困难,因为线上系统(CTR预估)通常对耗时要求比较高(需要在一定时间内返回结果),系统的线上延迟和存储开销会随着用户历原创 2021-10-06 16:29:24 · 1943 阅读 · 0 评论 -
推荐系统中的用户兴趣建模(三):跨sessions间的用户兴趣建模网络——DSIN
第三篇介绍电商推荐场景下一个非常有意思的做法,跨sessions间的用户兴趣建模网络——DSIN(IJCAI 2019)。在前面两篇中,无论是DIN还是DIEN还是BST或BERT4REC,建模的主体都是整个用户行为序列,这忽略了序列内在的结构:序列由sessions组成,其中sessions是发生时间内独立的用户行为。paper指出用户行为在每个会话中都是高度同构的,但跨会话是异构的。如何理解呢?以某用户行为序列为例,如下图所示。用户通常在一个会话中有一个明确的独特意图,而她的兴趣可以急剧变化当她开始原创 2021-10-05 18:05:59 · 416 阅读 · 0 评论 -
推荐系统中的用户兴趣建模(二):NLP方法的迁移
前面说到的DIN提供了用户兴趣建模的一个很好的思路,本身算法是基于对实际业务的理解,而DIN本身却是一个很简单的模型,这也为后续的很多优化提供了一个基线。归根到底,用户兴趣建模还是属于序列建模,所以,nlp中的很多序列学习方法可以无缝衔接到这里来,比如LSTM,GRU,Transformer,Bert等,这里介绍几个较为出名的工作。(笔者认同奥科姆剃刀原则,如果DIN本身达到的效果足够好,大可不必将序列建模工作做的过于复杂,因为这还需要团队具有很强的工程能力,以及模型用到的建模方式并不会适用所有的业务场景)原创 2021-10-04 22:06:28 · 696 阅读 · 0 评论 -
推荐系统中的用户兴趣建模(一):经典之作DIN及query attention框架
1.用户兴趣建模随着深度学习的普及,Embedding&MLP的范式成为了排序模型经典范式,成为各个业务模型Base model的首选。在排序模型中通常的特征类型有user profile 、item feature、context feature,user behavior feature, 其中第一类特征是静态的,很粗粒度的刻画了不同用户,第二、三类特征对于不同用户是相同的,只有第四类特征即用户兴趣,是实时更新的且”千人千面“,所以通常说的个性化也是通过这个特征来进行表达的,即用户兴趣是用原创 2021-10-03 22:35:49 · 1032 阅读 · 1 评论 -
【AAAI2020】阿里DMR:融合Matching思想的深度排序模型
文章目录1.模型特征和整体结构2. I2I和U2I网络2.1 I2I2.2 U2I3. 一些细节和思考3.1 哪些结果concat到一起送入DNN中?3.2 关于item embedding3.3 关于模型架构的可移植性论文链接:Deep Match to Rank Model for Personalized Click-Through Rate Prediction推荐系统中 CTR 预估的重要性不言而喻,其中个性化是提升 CTR 模型效果的关键。对于CTR模型来说,个性化是增强用户体验的关键。而个原创 2021-06-11 17:50:20 · 377 阅读 · 0 评论 -
RecSys 2019:对in-batch负采样进行bias校正的Google双塔模型
文章目录1.总览2.考虑到bias的softmax损失修正3.如何计算batch内item的采样概率?4.其他的一些tricks梳理4.1 Embedding标准化4.2 softmax增强论文链接:Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations1.总览目前,业界的推荐系统可以分成Retrieval和Ranking两个阶段,Retrieval需要从百万级以上的item库中召回到千级item作原创 2021-05-17 00:02:39 · 4671 阅读 · 1 评论 -
DSSM双塔模型原理及在推荐系统中的应用
1.整体结构:原始的DSSM是在搜索CTR预估任务,大概分为:embedding层MLP层cosine相似度logitsoftmax层;其中Q代表搜索词(用户),D1,2,…,n为检索文档(物料) 。如果将最左侧看作一个塔,并称为用户塔;那右侧就可以称为物料塔(或者物料塔1,2,…,n);双塔,多塔架构由此得来。注意:实际上使用DSSM解决不同的问题,我们通常使用不同的loss函数,双塔模型通过使用不同的label构造不同的模型,比如点击率模型采用用户向量和文章向量内积结果过sigmo原创 2021-05-14 23:02:49 · 2169 阅读 · 0 评论 -
重读KDD 2018 Best Paper:Airbnb的业务理解和Embedding技巧
文章目录1.业务背景1.基于click session的房源embedding(短期兴趣)1.1 如何确定click session?1.2 房源embedding方法1.2.1 业务思考:原始的word2vec是非监督的,怎样融入提升“预订率”这一业务目标?1.2.2 业务思考:如何缓解正样本在地域上的bias?1.2.3 业务思考:如何解决new listing的冷启动问题?2.基于booked session的用户 & 房源embedding(长期兴趣)2.1 如何解决booked sessi原创 2021-05-14 16:27:02 · 436 阅读 · 1 评论 -
Youtube视频推荐框架解读及若干算法细节
文章目录1. 总览2. 召回(Matching)2.1 什么特征?如何选择数据样本?2.2 训练方式及优化2.3 如何获取User和Item的Embedding2.4 线上Serving3. 排序(Ranking)4. 其他一些讨论1. 总览2016年,YouTube发表了深度学习推荐系统论文Deep Neural Networks for YouTube Recommendations,这是一篇理论和实践俱佳的论文。从Matching到Ranking到线上serving的各个环节,论文都原创 2021-05-12 22:54:46 · 1495 阅读 · 3 评论 -
图与推荐系统(一):Graph Embedding之node2vec (原理 + 代码实战)
文章目录一. 介绍二. 公式三. 代码细节四. 代码一. 介绍node2vec是一种综合考虑DFS邻域和BFS邻域的graph embedding方法。简单来说,可以看作是deepwalk的一种扩展,是结合了DFS和BFS随机游走的deepwalk。node2vec通过调整方向的参数来控制模型更倾向BFS还是DFS。BFS更能体现图网络的“结构性”,因为BFS生成的序列往往是由当前节点周边的组成的网络结构。这就能让最终生成的embedding具备更多局部结构化特征。DFS更能体现图网络的“同质性”,原创 2021-05-02 23:13:57 · 2094 阅读 · 0 评论 -
图与推荐系统(一):Graph Embedding之DeepWalk (原理 + 代码实战)
1.原理简述DeepWalk 的思想类似 word2vec,使用图中节点与节点的共现关系来学习节点的向量表示。那么关键的问题就是如何来描述节点与节点的共现关系,DeepWalk 给出的方法是使用随机游走 (RandomWalk) 的方式在图中进行节点采样。RandomWalk 是一种可重复访问已访问节点的深度优先遍历算法。给定当前访问起始节点,从其邻居中随机采样节点作为下一个访问节点,重复此过程,直到访问序列长度满足预设条件。DeepWalk的本质是在图结构上进行随机游走,生成Item序列,然后将这些原创 2021-04-29 23:27:14 · 2301 阅读 · 7 评论