双塔召回模型的前世今生

最新推荐文章于 2025-03-27 21:56:11 发布
最新推荐文章于 2025-03-27 21:56:11 发布
阅读量564 收藏 2
点赞数
文章标签： 人工智能 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/han_liwei/article/details/130187350
版权
双塔召回模型源于电商和推荐系统的高效召回需求，通过user和item特征独立输入DNN得到embedding，然后用cosine相似度计算匹配度。离线构建embedding并利用ANN进行近邻检索，解决大规模候选召回问题。模型中，归一化和temperature调整有助于优化训练和效果。负样本的采样策略，如in-batch采样和混合采样，是召回模型中的关键优化点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

双塔的诞生

首先来看一下经典的精排模型DIN（Deep Interest Network for Click-Through Rate Prediction），通过user历史行为序列和目标item依次算权重得到用户的兴趣表征，并和user、item、context等特征拼接过DNN计算loss。

这种复杂的精排模型在线上serving时需同时输入user+item特征得到最终的预估值，速度很慢，一般只能支持百、千级别的候选。

可是召回的候选巨大，像淘宝、抖音等场景召回候选量级是千万乃至亿级别，上述模型显然是难以招架，需要牺牲精度换取延迟，最简单的想法便是：不要线上对所有候选均过图预估一遍，最好能将一部分结果离线提前算好

于是双塔模型闪亮登场，结构非常简单，但是却能对海量候选进行召回

  • user和item特征分别单独输入DNN，得到user embedding与item embedding

  • 将最后一层embedding计算cosine（下文会详细介绍为什么要用余弦距离）得到logit

logit代表user&item之间的匹配程度，比较经典的双塔DSSM（Deep Structured Semantic Models）结构如下，这里的query便是推荐场景的user

 

那么可能有人会疑惑：双塔模型也是神经网络啊，为什么速度就会快很多呢？

离线构图+近邻检索=海量候选实时召回

精排模型之所以慢，是因为对于所有的候选item都要实时过图；而双塔之所以快，当然不只是因为模型结构简单了，而是因为中间结果可以离线提前算好，并且通过高效的检索实现精度和效率的平衡。

首先我们先理清楚一件事：

  • item侧的embedding需要实时算吗？

  • 每个用户访问，都需要对item算一次e

最低0.47元/天 解锁文章
han_liwei
关注
【论文笔记KDD2021】MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems
发现问题，并解决问题，批判性思维
08-04 843
论文题目：MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems论文链接：http://keg.cs.tsinghua.edu.cn/jietang/publications/KDD21-Huang-et-al-MixGCF.pdf论文代码：https://github.com/huangtinglin/MixGCF论文作者：Tinglin Huang，唐杰老师等人。............
推荐系统-召回层：user-item双塔架构
u013250861的博客
06-04 646
双塔模型被广泛应用于推荐系统的召回和粗排阶段，应用过程中也存在一定区别： （1）负样本构造召回：正样本是真实正例，负样本通过采样（全局采样、batch内采样等）得到 粗排：要接近精排，样本与精排一致，正负样本都是从用户的真实正负例中选取 召回是从海量候选集中，要把用户可能感兴趣的或完全不相关的item区分开来，所以召回在线上所面对的数据环境，就是鱼龙混杂、良莠不齐，负样本除了曝光未点击的真实负例外，也要包含未曝光的样本，目的就是让训练样本尽量符合线上真实分布，让模型“见见世面“。（2）线上预测召回：把ite
推荐系统（十五）：基于双塔模型的多目标商品召回/推荐系统
最新发布
Jin_Kwok的博客
03-27 860
本文基于TensorFlow构建了一个支持多任务学习的双塔推荐模型，可同时预测点击率（CTR）和转化率（CVR）。通过用户塔和商品塔的分离式设计，模型既能捕捉用户兴趣偏好，又能理解商品特征，最终通过向量相似度计算生成推荐结果
####好好好#####知识图谱上的双塔召回：阿里的IntentGC模型
木东的博客
12-10 590
关注本人的同学可能发现，我最近点评的文章都是关于"GNN在推荐系统应用"方向的。这当然与现如今这个方向非常火有关，但是作为一个合格的炼丹师+调参侠，总要搞清楚一门技术为什么火？这么火的技术对于自己是否有用？根据我的理解，由“传统机器学习→深度学习→图计算或知识图谱”这一路下来的发展脉络如下： 一切技术的目标都是为了更好地“伺候”好“推荐系统的一等公民 — ID类特征”。用户购买过的商品、光顾过的店铺、搜索过的关键词、商品的分类与标签，都是这样的ID类特征 传统的机器学习只会“严格匹配”。用户
双塔模型学习
weixin_42001184的博客
03-03 1160
双塔模型和CLIP本质上是同一套对比学习框架在不同领域的具象化——推荐双塔是从行为数据中学习用户-物品的关联，CLIP是从图文配对中学习跨模态语义映射。二者的核心区别仅在于处理的数据类型和应用场景。L−∑i1Blog⁡exp⁡siexp⁡si∑j1Nexp⁡sj−L−i1∑B​logexpsi​∑j1N​expsj−​expsi​​sis_i^+si​：正样本的相似度分数sj−。
召回模型：DSSM双塔模型
Celeste小天地
06-06 1714
双塔召回模型
推荐召回算法之双塔模型
define_us的专栏
12-15 403
推荐
召回06 双塔模型two-tower(DSSM)
DEVIL_hym的博客
09-27 738
这是粗排和精排，前期融合，将特征在神经网络之前就拼接融合，不适用于召回，适用于排序模型；召回使用双塔模型，是在最终输出相似度的时候才融合。
一文讲懂召回中的 NCE & NEG & sampled softmax loss
眼罩的程序员笔记
07-11 2727
深度学习中与分类相关的问题都会涉及到softmax的计算。当目标类别较少时，直接用标准的softmax公式进行计算没问题，当目标类别特别多时，则需采用估算近似的方法简化softmax中归一化的计算。
数据与广告系列三十五：召回，没有什么是一个双塔解决不了的，如果有，那就多来几个
数据虫巢
01-03 1115
作者·黄崇远『数据虫巢』全文19476字题图ssyer.com“广告推荐的召回，没有什么是一个双塔解决不了的，如果有，那就多来几个。当然，这是戏说，但对于召回技术来说，确实是崛起于双塔，或者说双塔技术为推荐广告的召回提供了更广阔的想象空间，但实际上召回发展的路上，却不止于双塔。”如题引，我们今天的主题包含了两层，业务视角是召回，技术视角是双塔技术的演化，而逻辑的推进是两者的有机结合，最终我们会沿...
百度双塔召回引擎MOBIUS
null的专栏
03-30 660
Mobius的目标是要做一个统一的模型，在这个模型中融合了召回和排序，检索出来的最终的结果是高点击且高相关性，为了完成这样的目标，一个方法是常规的多目标，画一个简单的图如下：这是常用的多目标的建模方式，两个目标共享底层的特征以及网络参数，只是在上层的目标上有不同。在线上检索过程中需要先根据CTR分找到潜在候选，再根据相关性得分过滤。当然在这个建模的过程中还可以考虑诸如多专家等策略，详细参考[3]。高CTR，高相关（需要的，positive）高CTR，低相关（bad）
双塔召回 工业实践文章收集
console.log(**)的博客
02-08 827
双塔（DSSM）召回，是个性化推荐中常见的一种方式。但是各家的有各种实践方式去优化。 现收集如下 五八同城：向量化召回上的深度学习实践 https://www.6aiq.com/article/1618011600160 五个星，重点看 QQ浏览器：小说召回中的DSSM模型优化实践 https://www.sohu.com/a/447529493_187948 推荐粗排（召回）工程实践之双塔DNN模型 https://mp.weixin.qq.com/s/w-J_hz1Qf3Y-Kc8ywx9kUg 小米收
推荐系统（九）SENet 双塔模型在推荐领域召回粗排的应用
Jin_Kwok的博客
07-21 2927
在推荐领域，双塔模型是粗排/召回环节应用最为广泛的算法模型，各种改进型双塔模型层出不穷，本文介绍一种基于 SENet 的双塔模型。
一文看懂推荐系统：召回06：双塔模型——模型结构、训练方法，召回模型是后期融合特征，排序模型是前期融合特征
热门推荐
weixin_46838716的博客
08-04 1万+
（1）找工作投简历的话，你要将招聘单位的岗位需求和你的研究方向和工作内容对应起来，这样才能契合公司招聘需求，否则它直接把简历给你挂了 （2）你到底是要进公司做推荐系统方向？还是纯cv方向？还是NLP方向？还是语音方向？还是深度学习机器学习技术中台？还是硬件？还是前端开发？后端开发？测试开发？产品？人力？行政？这些你不可能啥都会，你需要找准一个方向，自己有积累，才能去投递，否则面试官跟你聊什么呢？ （3）今日推荐系统学习经验：三种训练方法的本质都是让用户和正样本物品的余弦相似度大，而用户跟负样本的余弦相似度小
一文看懂推荐系统：召回08：双塔模型——线上服务需要离线存物品向量、模型更新分为全量更新和增量更新
weixin_46838716的博客
08-05 5027
（1）找工作投简历的话，你要将招聘单位的岗位需求和你的研究方向和工作内容对应起来，这样才能契合公司招聘需求，否则它直接把简历给你挂了 （2）你到底是要进公司做推荐系统方向？还是纯cv方向？还是NLP方向？还是语音方向？还是深度学习机器学习技术中台？还是硬件？还是前端开发？后端开发？测试开发？产品？人力？行政？这些你不可能啥都会，你需要找准一个方向，自己有积累，才能去投递，否则面试官跟你聊什么呢？ （3）今日推荐系统学习经验：现在先进的推荐系统都会结合全量更新和增量更新。...
推荐系统-召回阶段-双塔模型-2016：YoutubeDNN【双塔模型是召回、粗排阶段的首选，能够在线预估时满足低延时求】【无法考虑user和item之间的特征交叉，影响模型效果，只能做召回或粗排】
u013250861的博客
02-06 1177
推荐的流程召回模型的本质负采样的注意事项为什么召回要分成离线training和在线serving？为什么在线serving可以用Faiss这样的工具来代替？
推荐系统-【双塔模型】
qq_42636236的博客
08-13 488
双塔模型的应用-推荐系统实践与总结
RS推荐系统-DSSM双塔模型
你好，今天的你
11-23 834
DSSM语义召回 DSSM是一种基于深度神经网络的语义建模方法，这是由微软发表的一篇关于Query和Doc的相似度计算模型的论文提出。 该模型的结构主要由三部分组成（如下图） 输入层 输入层主要负责将Query和Doc的数据转换成embedding向量表达，方法通常有TFIDF，One-Hot等。原论文针对英文输入提出了一种叫做Word hashing的特殊embedding方法来降低字典规模。 表示层 表示层主要是将初始的embedding向量，经过深度学习的方法映射得到Query和Doc的新的em
【深度学习技术系列】推荐系统-双塔模型基本原理与实践
小田的专栏
04-06 5374
双塔模型经典又简单，就是NLP领域的 query 和 document，推荐领域的 user 和 item，多模态检索领域的图像和文字等，都可以用双塔表示，分别把两个领域的特征编码成一个向量，然后向量相似度进行召回。较早使用双塔模型的是DSSM模型。将文本编码成对应低维向量，然后通过优化向量点积估值，得到合适的query和文档向量。线上通过query和文档的相似度进行文档的召回。推荐系统中使用的双塔模型结构如下：真实的推荐领域的大规模推荐系统，通常有百万到上亿的item和user。
双塔召回dssm 代码
02-24
### 双塔召回 DSSM 模型代码实现 #### 构建双塔结构的DSSM模型 为了构建一个有效的双塔DSSM模型，通常会分别设计两个独立的子网络来处理输入的不同部分——例如用户的查询和文档的内容。这两个子网共享相同的架构但是参数不共享。 ```python import tensorflow as tf from tensorflow.keras import layers, models def create_tower(input_shape): inputs = layers.Input(shape=(input_shape,)) x = layers.Dense(128, activation='relu')(inputs) x = layers.BatchNormalization()(x) x = layers.Dropout(0.2)(x) x = layers.Dense(64, activation='relu')(x) embeddings = layers.Lambda(lambda t: tf.math.l2_normalize(t, axis=1))(x) model = models.Model(inputs=inputs, outputs=embeddings) return model query_input = layers.Input(name="query", shape=(None,), dtype=tf.string) doc_input = layers.Input(name="document", shape=(None,), dtype=tf.string) # Text preprocessing layer (for simplicity we use a simple embedding here instead of complex NLP pipeline) embedding_layer = layers.TextVectorization(max_tokens=10000, output_mode='int', output_sequence_length=50) query_embeddings = create_tower(embedding_layer(query_input).shape[1])(embedding_layer(query_input)) doc_embeddings = create_tower(embedding_layer(doc_input).shape[1])(embedding_layer(doc_input)) dot_product = layers.Dot(axes=[1, 1], normalize=False)([query_embeddings, doc_embeddings]) output = layers.Activation('sigmoid')(dot_product) dssm_model = models.Model([query_input, doc_input], output) dssm_model.compile(optimizer='adam', loss='binary_crossentropy') ``` 这段代码定义了一个简单的双塔DSSM框架[^3]。这里假设输入为字符串形式的文本数据，并通过`TextVectorization`层进行了初步的文字编码转换；实际应用中可能需要更复杂的自然语言预处理流程。最后两行创建并编译了整个Keras模型实例。 #### 训练过程概述 训练这样的模型涉及准备配对的数据集，其中每一对包含一条查询及其对应的文档以及标签指示它们之间的关联程度。损失函数一般选择二元交叉熵，因为目标是预测给定查询下某个特定文档的相关性概率。 #### 应用场景说明 此类型的模型广泛应用于搜索引擎、广告推荐等领域，在这些场合它能够帮助快速筛选出大量潜在相关项供后续精排阶段进一步评估[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值