排序

最新推荐文章于 2024-09-04 10:36:09 发布
最新推荐文章于 2024-09-04 10:36:09 发布
阅读量183 收藏
点赞数
文章标签： 推荐系统
原文链接：https://mp.weixin.qq.com/s/LwT8BQ4b--Vv7Fw_k-aunQ
版权

问题背景

    说起排序，对排序的认知还停留在召回阶段召回的item经过粗排过滤，剩下较少的item在精排中打分，按epcm或者其他策略挑选出最终要曝光的item。重排是一种考虑到推荐items之间关系和影响的排序模式，常规的推荐系统仅仅考虑<user, item>对的角度，并不会考虑items间作为一个list进行推荐之后的互相影响。

图片

    举个例子，排序模型往往都是point-wise的，一个DNN加丰富的user/item/上下文特征预估点击率，在召回的100个item候选集中排序取出Top10的item进行推荐展示。但是，在实际情况里，这10个item展示给用户时是会相互影响的，这样就导致排序模型线下预估与线上实际点击情况之间是有偏差的。

    那么，产生这种情况的原因是什么呢？

    首先是我们在排序阶段并没有考虑到item之间的影响，其次用户对不同场景（或者逻辑）下看到的item list的反馈是不同的。比如，在信息流场景中，如果展示的20个内容中有同一主题（理财科普），对于有点击意图的用户，类似的内容排在一起时，用户点击颜值较高或者知名大V的内容的概率会增大；对于没有点击意图的用户，展示给用户更加多样性的内容，更适合用户去探索与发现，这时推荐的多样性就变得更重要了。

    Re-rank模型将常规rank模型的输出作为模型输入，强化item之间的关系以及item与用户的关系进行One more time排序。对于不同用户来说，list中item的分布应该具有比较大的差异。

模型结构

图片

图片

    PRM的模型结构，是一个比较传统的multi-head结构，输入Initial List是一个精排模型输出的推荐集合，然后依次经过输入层, 编码层和输出层三部分后，输出的Re-ranked List是重排序。

 

输入层Input Layer

图片

    输入层由原始特征、个性化特征、位置特征三部分组成。

编码层Encoding Layer

 

 

图片

    编码层目标在于整合对列表中物品的相互影响，以及用户行为和列表中物品的相互影响。这里利用Transformer中self-attention结构来实现任意两个Item的交叉，从而获得Item互相间的影响。

    在Attention中， Query，Key和Value都是同一个输入的embedding矩阵，然后经过Multi-Head Attention。公式如下：

图片

图片

图片

    经过FFN增强模型和输入向量不同维度之间的交互，将多个Attention进行stack，组合成更复杂和更高维的交互信息。

 

输出层Output Layer

图片

    经过FFN增强模型和输入向量不同维度之间的交互，将多个Attention进行stack，组合成更复杂和更高维的交互信息。

图片

图片

    最后，以点击预估作为目标，通过Softmax和Cross-entropy进行训练后通过Score排序依次展示给用户。

个性化预训练:Pre-train

图片

图片

    

实验效果

图片

图片  

拓展总结

    我们知道，最常见的考虑时序性的模型是RNN和Transformer，所以经常把这两类模型用在重排模块，这是很自然的事情。一般的做法是：排序Top结果的物品有序，作为RNN或者Transformer的输入，RNN或者Transformer明显可以考虑在特征级别，融合当前物品上下文，也就是排序列表中其它物品的特征，来从列表整体评估效果。RNN或者Transformer每个输入对应位置经过特征融合，再次输出预测得分，按照新预测的得分重新对物品排序，就完成了融合上下文信息，进行重新排序的目的。

    除了本篇Re-Rank文章之外，炼丹笔记还分享了《Revisit Recommender System in the Permutation Prospective》一文，论文提出了两阶段的重排序框架PRS(Permutation Retrieve System)，分别是PMatch阶段和PRank阶段，图片

    PMatch一句话总结就是，把上百个item的排列都给list-wise模型预估排列分不现实，PMatch负责挑选出候选的排列。

    PRank就比较简单了，先离线训练一个模型，该模型输入是一个长度为n的序列 (x1, x2, ..., xn)，然后输入到Bi-LSTM里，就会得到n个隐向量，每个隐向量concat用户特征和序列中每个item的原始特征，过mlp预测点击率即可。

参考文献

  • Personalized Re-ranking for Recommendation

  • https://zhuanlan.zhihu.com/p/100019681

  • https://www.zhihu.com/people/yuconan

  • https://zhuanlan.zhihu.com/p/358568019

  • 排序rank后重排re-rank

less97
关注
FastGPT部署和接入使用重排模型bge-reranker
洛阳泰山的博客
05-11 1798
BGE-reranker模型是北京智源人工智能研究院（BAAI）推出的一种重排序模型，主要用于优化信息检索系统的性能。该模型在2023年12月推出，是BGE（BAAI General Embedding）系列模型中的一个重要组成部分。BGE-reranker的核心作用是对初步检索出的Top-K文档进行再次排序，以提高检索结果的相关性和精度，这是一种典型的两阶段检索策略。
堆排序详细图解（通俗易懂）
oorik的博客
02-17 24万+
什么是堆 堆是一种叫做完全二叉树的数据结构，可以分为大根堆，小根堆，而堆排序就是基于这种结构而产生的一种程序算法。 堆的分类 大根堆:每个节点的值都大于或者等于他的左右孩子节点的值 小根堆:每个结点的值都小于或等于其左孩子和右孩子结点的值 两种结构映射到数组为: 大根堆: 小根堆: //父-->子:i--->左孩子:2*i+1, 右孩子:2*i+2; //子-->父:i--->(i-1)*2;(i为下标元素) 排序思想 1.首先将待排序的数...
大模型优化——重排序模型
xzq_qzx_的博客
03-08 1627
重排序是信息检索系统中的一个重要步骤，它发挥着优化检索结果的关键作用。在初始检索阶段，系统根据某种标准（如相似度）返回一组文档。然而，由于初始排序可能并不总是能够准确反映文档与查询的真实相关性，因此需要进行重排序来提升检索结果的质量。不同的重排序方法使用检索模型进行二次检索：一种常见的重排序方法是使用检索模型进行二次检索。在初始检索后，通过利用更复杂的模型，例如基于嵌入的检索模型，可以再次检索相关文档。这有助于更精确地捕捉文档与查询之间的语义关系。
超强指南！推荐算法架构——重排
m0_37586850的博客
09-20 1050
猜你喜欢 0、快手推荐系统精排模型实践 1、【免费下载】2022年8月份热门报告 2、【实践】小红书推荐中台实践 3、微信视频号实时推荐技术架构分享 4、对比学习在宽狩推荐系统中的应用实践 5、微博推荐算法实践与机器学习平台演进 6、腾讯PCG推荐系统应用实践7、强化学习算法在京东广告序列推荐场景的应用8、飞猪信息流内容推荐探索9、淘宝首页猜你喜欢推荐建模实践10、美团大脑系列之商品知识图谱的构建...
RAG：重排（Rerank）
qq_32907491的博客
08-04 1242
图 1：RAG 中的重排序技术，其任务是评估这些上下文的相关性，并优先选择最有可能帮助模型响应更准确并相关的上下文（红框标注部分）。图片由原文作者提供。如图 1 所示，重排序（Re-ranking）的作用类似于一个智能过滤器（intelligent filter）。当检索器（retriever）从建立了索引的文档或数据集合中检索到多个上下文时，这些上下文可能与用户发送的 query 非常相关（如图 1 中的红色矩形框），而其他可能只是相关性较低，甚至完全不相关（如图1中的绿色矩形框和蓝色矩形框）。
推荐系统如何进行重排序——阿里巴巴PRM模型详解
WitsMakeMen的专栏
07-20 972
1、为了解决推荐系统排序全局最优解的问题，文章对重排模块进行了较为详细的介绍2、在重排序部分，文章提出了基于Transformer结构的个性化重排序模型，显著提升了线上系统的曝光、点击、GMV等指标。3、使用listwise的思想对整个序列进行 优化。
推荐系统技术演进趋势：从召回到排序再到重排
sixgold的博客
06-13 1927
这里参考张俊林老师的文章链接 架构介绍 推荐系统架构介绍 召回：缩小可选集 粗排：有时候因为每个用户召回环节返回的物品数量还是太多，怕排序环节速度跟不上，所以可以在召回和精排之间加入一个粗排环节，通过少量用户和物品特征，简单模型，来对召回的结果进行粗略的排序，在保证一定精准的前提下，进一步减少往后传送的物品数量，粗排往往是可选的，可用可不同，跟场景有关。 精排：使用你能想到的任何特征，可以上你能承受速度极限的复杂模型，尽量精准地对物品进行个性化排序。 重排：传统地看，这里往往会上各种技术及业...
快速排序法（详解）
热门推荐
小白的博客
07-01 58万+
假设对以下10个数进行快速排序： 6 1 2 7 9 3 4 5 10 8 我们先模拟快速排序的过程：首先，在这个序列中随便找一个数作为基准数，通常为了方便，以第一个数作为基准数。 6 1 2 7 9 3 4 5 10 8 在初始状态下，数字6在序列的第1位。我们的目标是将6挪到序列中间的某个位...
冒泡排序（超详细）
hcz666的博客
06-11 38万+
1、什么是冒泡排序？ 冒泡排序的英文Bubble Sort，是一种最基础的交换排序。之所以叫做冒泡排序，因为每一个元素都可以像小气泡一样，根据自身大小一点一点向数组的一侧移动。 冒泡排序的原理： 每一趟只能确定将一个数归位。即第一趟只能确定将末位上的数归位，第二趟只能将倒数第 2 位上的数归位，依次类推下去。如果有 n 个数进行排序，只需将 n-1 个数归位，也就是要进行 n-1 趟操作。 而 “每一趟 ” 都需要从第一位开始进行相邻的两个数的比较，将较大的数放后面，比较完毕之后向后挪一位继续比较下面
python数组排序方法详解（sort， sorted，argsort）
什么都干的派森
09-27 7万+
这三个排序方法应对日常工作基本够用 先说一下三者的区别 sort， sorted 是用在 list 数据类型中的排序方法 argsort 是用在 numpy 数据类型中的排序方法（ numpy 里也有一个 sort 方法，下面会讲） sort 和 sorted 的区别如下???? 先看两个简单的升序排序，分别使用 sorted 和 sort 方法 # sorted num_list = [1, 8, 2, 3, 10, 4, 5] ordered_list = sorted(num_list) print
插入排序、归并排序、堆排序和快速排序的稳定性分析
笔者从事电信媒体开发多年，愿意将多年的开发经验分享给同行
03-28 2009
在计算机科学中，排序是将一组数据按照特定顺序进行排列的过程。排序算法的效率和稳定性是评价其优劣的两个重要指标。稳定性指的是在排序过程中，相等的元素在排序后保持原有的相对顺序。本文将详细分析插入排序、归并排序、堆排序和快速排序这四种常见排序算法的稳定性，并通过浅显易懂的语言进行解释。
Advanced RAG 04：重排序（Re-ranking）技术探讨
Baihai_IDP的博客
04-20 1186
本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG 系统中，提高系统性能。分别是：(1) 使用 Re-ranking 模型直接对检索到的文档和 query 之间的相关性进行评分和排序。作者介绍了一些可用的开源和商业 Re-ranking 模型；(2) 利用大语言模型（LLM）对文档和 query 进行深入理解，通过对相关性程度进行排序来实现 Re-ranking 。文中介绍了 RankGPT 这种基于 LLM 的 Re-ranking 方法。
提升 RAG 效能：使用最佳的嵌入与重排模型
weixin_53880910的博客
08-18 1637
在本篇博客文章中，我们展示了利用不同的嵌入式系统和重新排序工具来评价和增强信息检索性能的方法。以下是我们的最终结论：•嵌入式系统**OpenAI**和**Voyage**的嵌入式系统，在配合时，无论是在命中率还是 MRR 上都设定了高标准。•重新排序工具: 重新排序工具，尤其是，其重要性不言而喻。它们在提升多种嵌入式系统的 MRR 中起到了关键作用，彰显了其在优化搜索结果方面的重要性。•基础至关重要: 选择合适的嵌入式系统作为初始搜索工具极其重要；
增强RAG：选择最佳的嵌入和重排模型
最新发布
xxue345678的博客
09-04 1050
为了确定最优的检索器，我们采用了嵌入模型和重排器的组合。最初，我们建立了一个基础的。
Adversarial Personalized Ranking for Recommendation(个人笔记)
qq_29717841的博客
04-11 1584
上周总结了一篇关于CPR_loss的文章，指导老师提出CPR_loss在采集正负样本标的标准和生成对抗网络方面有一些相似处，所以这周我就找到这一篇文章并加以总结。有趣的是，这一篇文章也是何向南老师组于2018年发表于SIGIR，下文我们简称为APR。 论文链接：https://arxiv.org/abs/1808.03908 代码链接：GitHub - hexiangnan/adversarial_personalized_ranking: Adversarial Learning, Matrix Fa
#Paper Reading# Personalized Context-aware Re-ranking for E-commerce Recommender Systems
John159151的专栏
06-04 1264
论文题目: Personalized Context-aware Re-ranking for E-commerce Recommender Systems 论文地址: https://arxiv.org/abs/1904.06813 论文发表于: arxiv，2019.04 论文大体内容： 本文主要提出了PCRM（Personalized Context-aware Re-ranking Mo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值