推荐算法炼丹笔记：做向量召回 All You Need is 双塔

最新推荐文章于 2024-09-27 17:48:16 发布
最新推荐文章于 2024-09-27 17:48:16 发布
阅读量715 收藏 1
点赞数
分类专栏： 炼丹笔记 文章标签： python 机器学习 人工智能 深度学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52122378/article/details/111617343
版权
本文介绍了双塔模型在推荐系统中的应用，如DSSM、YouTube双塔、EBR和莫比乌斯模型。双塔模型因其在线计算用户向量和离线计算物品向量的能力，适合用于实时召回。重点讨论了YouTube双塔的训练挑战和EBR的硬负样本挖掘与嵌入融合策略。这些模型在处理大规模数据时展现了优势，但同时也面临负样本采样偏见和性能挑战。
摘要由CSDN通过智能技术生成

v2-071e132c7353c2be34deb925be1bf617_b.jpg
作者：十方，公众号：炼丹笔记

对于基于向量召回，那就不得不提到双塔。为什么双塔在工业界这么常用？双塔上线有多方便，真的是谁用谁知道，user塔做在线serving，item塔离线计算embeding建索引，推到线上即可。下面我就给大家介绍一些经典的双塔模型，快速带大家过一遍，如果想了解细节，强烈建议看论文。

DSSM

v2-657bdca4afb4e7ced04d7107a8a0df22_b.jpg

先说双塔模型的鼻祖，这是微软在CIKM2013发表的一篇工作，它主要是用来解决NLP领域语义相似度任务的。word hashing真的是DSSM的骚操作了，不同于现有的RNN，Bert等模型，该方法直接把文本映射成了远低于vocab size的向量中，然后输入DNN，输出得到一个128维的低维语义向量。Qu

最低0.47元/天 解锁文章
负采样策略:提高模型训练效率的技巧
AI天才研究院
05-05 224
1. 背景介绍 随着深度学习技术的不断发展，自然语言处理领域涌现出各种各样的模型，如Word2Vec、GloVe、FastText等。这些模型能够将词语映射到高维向量空间，从而捕捉词语之间的语义关系。然而，这些模型的训练过程通常需要大量的计算资源和时间，尤其是在处理大规模语料库时。为了解决这个问题，研究人员提出了负采样策略，它可以有效地提高模型训练效
【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）
发现问题，并解决问题，批判性思维
06-22 2504
召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。 对应的三种训练方式可以参考下图（3种），其召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。在datawhale的RecHub中，用参数`mode`来指定训练方式，每一种不同的训练方式也对应不同的Loss。.................................
Keras-DSSM之in-batch余弦相似度负采样层
cdj0311的专栏
10-20 1217
定义余弦相似度层，并在batch内进行负采样 NEG, batch_size = 20, 128 class NegativeCosineLayer(): """ 自定义batch内负采样并做cosine相似度的层 """ def __call__(self, inputs): def _cosine(x): query_encoder, doc_encoder = x doc_encoder_fd = doc_encod
召回06 双塔模型two-tower(DSSM)
最新发布
DEVIL_hym的博客
09-27 502
这是粗排和精排，前期融合，将特征在神经网络之前就拼接融合，不适用于召回，适用于排序模型；召回使用双塔模型，是在最终输出相似度的时候才融合。
双塔模型中的负采样
Kaiyuan_sjtu的博客
09-14 884
推荐模型中双塔模型早已经普及.一个塔学用户表达.一个塔学item表达.很多双塔模型用各种各样的in-batch负采样策略.十方也是如此.往往使用比较大的batchsize,效果会比较好,但...
【推荐系统】双塔模型中的负采样
fengdu78的博客
08-27 1264
作者：十方推荐模型中双塔模型早已经普及.一个塔学用户表达.一个塔学item表达.很多双塔模型用各种各样的in-batch负采样策略.十方也是如此.往往使用比较大的batchsize,效果会...
RecSys 2019：对in-batch负采样进行bias校正的Google双塔模型
贝壳er的博客
05-17 4850
文章目录1.总览2.考虑到bias的softmax损失修正3.如何计算batch内item的采样概率？4.其他的一些tricks梳理4.1 Embedding标准化4.2 softmax增强 论文链接：Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations 1.总览 目前，业界的推荐系统可以分成Retrieval和Ranking两个阶段，Retrieval需要从百万级以上的item库中召回到千级item作
负样本采样及bias校准、ctr平滑
weixin_30480583的博客
05-06 1081
参考：https://zhuanlan.zhihu.com/p/31529643 在CTR预估中，负样本采样是一种常见的特征工程方法。一般CTR预估的原始正负样本比可能达到1:1000~1:10000左右，而要获取好的效果，一般需要采样到1:5~1:15之间（VC维可推导）。 我们详细分析采样对于pCTR的影响。 设采样前CTR为,采样后CTR为,正样本数为,负样本数为...
算法效果评估：均方根误差（RMSE）/ 标准误差
Laurence的技术博客
11-07 5万+
评估算法的效果 常见的算法效果评估函数是均方根误差（Root Mean Square Error），在了解这个均方根误差前，需要先熟悉一下其他几个基本方差： 方差（Variance） 方差用于衡量随机变量或一组数据的离散程度。对于方差我们可以用一种朴素的方式理解和记忆：它不是平方的差，而是差的平方求和之后再取平均值，对于计算方差取差的平方这一点，可以很形象地理解为以两点间的直线距离为边得到一个正方型，以面积（平方）的形式度量离散程度，显然面积越大，意味着离散程度越高。 总体方差 总体方差，也叫做有偏估计，其
【2024最新版】PCL点云处理算法汇总（C++长期更新版）
热门推荐
点云侠的博客
02-27 58万+
PCL学习目录。博客长期更新，最近一次更新时间为：2024年11月17日。
推荐算法之FFM：原理及实现简介
hualinchangfeng的专栏
11-22 1万+
推荐算法之FFM：原理及实现简介推荐系统一般可以分成两个模块，检索和排序。比如对于电影推荐，检索模块会针对用户生成一个推荐电影列表，而排序模块则负责对这个电影列表根据用户的兴趣做排序。当把FFM算法应用到推荐系统中时，具体地是应用在排序模块。FFM算法，全称是Field-aware Factorization Machines，是FM（Factorization Machines）的改进版。这个改进
点击率预估-负采样后校准方法
十三
01-23 2355
在训练点击率预估模型的时候，训练数据中正负样本不均衡是常见的现象，对于这种问题，会对负样本进行采样，然后将采样后的负样本和正样本一起作为训练数据来训练ctr模型。由于负采样的缘故，会导致线上待预测数据分布与离线训练分布有很大差距，线上预估分数往往会高于真实值，所以非常有必要进行校准。 校准过程如下 变量定义。 p′p^{'}p′已经采样后的预估概率（训练） ppp未经采样的预估概率（测试） NpN_pNp​原始正样本数量 NnN_nNn​采样后负样本数量 rrr负样本的采样比例，分数，例如0.1 Nnr
Embedding-based Retrieval in Facebook Search向量化召回
Amberrr的博客
07-22 963
Embedding-based Retrieval in Facebook Search 2020.7 Facebook Abstract 除了用户搜索的query text,用户的上下文信息也很重要。 之前FB搜索基于Boolean matching model。 引入网页搜索引擎中常用的EBR（基于embedding的召回） 我们介绍了为个性化搜索建模语义嵌入而开发的统一嵌入框架，以及在基于倒排索引的典型搜索系统中为基于嵌入的检索提供服务的系统。 1.INTRODUCTION 搜索技术.
向量化召回
mudan97的博客
03-29 2795
前言 常读我的文章的同学会注意到，我一直强调、推崇，不要孤立地学习算法，而是要梳理算法的脉络+框架，唯有如此，才能真正融会贯通，变纸面上的算法为你的算法，而不是狗熊掰棒子，被层出不穷的新文章、新算法搞得疲于奔命。 之前，我在《推荐算法的"五环之歌"》梳理了主流排序算法常见套路： 特征都ID化。类别特征天然是ID型，而实数特征需要经过分桶转化。 每个ID特征经过Embedding变成一个向量，以扩展其内涵。 属于一个Field的各Feature Embedding通过Poolin
估计值的偏差与修正策略
AI天才研究院
12-27 746
1.背景介绍 在大数据和人工智能领域，我们经常需要对大量数据进行预测和估计。这些估计值往往是基于一些模型或算法得出的，例如线性回归、决策树、神经网络等。然而，由于数据的噪声、模型的简化或者缺乏一些关键特征等原因，这些估计值往往存在一定的偏差。因此，在实际应用中，我们需要对这些估计值进行修正，以提高其准确性和可靠性。 在本文中，我们将讨论如何估计值的偏差以及如何进行修正。我们将从以下几个方面入手...
向量内积召回
1066196847的博客
01-12 952
向量召回的目标 1：内积时既考虑到了相关性、又考虑到了兴趣，所以这就是前两个目标 2：有的还会考虑rpm最大化 3：有的团队还会在训练模型时，loss上加入点击loss、下单loss等目标 一、阿里全链路召回 - LDM（Learning to Rank based Deep Match Model) 原文链接：阿里广告技术最新突破：全链路联动-面向最终目标的全链路一致性建模 - 知乎 这篇文章中讲了两个召回思路，其中一个就是ldm，是以学习后链路（精排）的序为目标 优点，1：以序为目标，而不
YouTube双塔模型——基于流数据的采样偏差修正
Shallowmm的博客
03-31 854
双塔模型通过采样负样本来优化损失函数，但是这种方式会受到采样偏差影响，影响模型性能，特别是在样本分布极度倾斜的情况下YouTube中的视频数据是流数据，新增的Item无法包含在固定的语料库，因此需要在batch中进行负采样并计算in-batch softmax从流数据中估计item的采样概率，并应用到采样偏差的修正上是改善模型性能的关键。
TensorFlow Recommenders 现已开源，让推荐系统更上一层楼！
谷歌开发者
10-26 1956
文 /Maciej Kula 和 James Chen，Google Brain推荐系统是机器学习的一大主要应用，能够根据用户偏好推送相关内容，比如推荐电影、餐厅、搭配时装首饰或筛选媒...
论文｜从DSSM语义匹配到Google的双塔深度模型召回和广告场景中的双塔模型思考
Thinkgamer博客
08-12 1561
基于深度学习的召回近些年已经得到了长足的发展，其中双塔模型更是作为经典的深度学习召回模型被各大公司应用，回顾双塔模型的发展可以追溯到2003年微软发布的DSSM模型，本篇文章将会从DSSM开始介绍几篇论文，看一下DSSM模型是怎么发展成为双塔模型并应用在推荐系统中做召回的。 DSSM DSSM模型是2013年微软发布的，其论文全称为：Learning Deep Structured Semantic Models for Web Search using Clickthrough Dara（https://
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值