推荐算法炼丹笔记：做向量召回 All You Need is 双塔

最新推荐文章于 2024-03-13 20:45:08 发布
VIP文章 最新推荐文章于 2024-03-13 20:45:08 发布
阅读量659 收藏 1
点赞数
分类专栏： 炼丹笔记 文章标签： python 机器学习 人工智能 深度学习 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52122378/article/details/111617343
版权

v2-071e132c7353c2be34deb925be1bf617_b.jpg
作者：十方，公众号：炼丹笔记

对于基于向量召回，那就不得不提到双塔。为什么双塔在工业界这么常用？双塔上线有多方便，真的是谁用谁知道，user塔做在线serving，item塔离线计算embeding建索引，推到线上即可。下面我就给大家介绍一些经典的双塔模型，快速带大家过一遍，如果想了解细节，强烈建议看论文。

DSSM

v2-657bdca4afb4e7ced04d7107a8a0df22_b.jpg

先说双塔模型的鼻祖，这是微软在CIKM2013发表的一篇工作，它主要是用来解决NLP领域语义相似度任务的。word hashing真的是DSSM的骚操作了，不同于现有的RNN，Bert等模型，该方法直接把文本映射成了远低于vocab size的向量中，然后输入DNN，输出得到一个128维的低维语义向量。Qu

最低0.47元/天 解锁文章
炼丹笔记
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RecSys 2019：对in-batch负采样进行bias校正的Google双塔模型
贝壳er的博客
05-17 4191
文章目录1.总览2.考虑到bias的softmax损失修正3.如何计算batch内item的采样概率？4.其他的一些tricks梳理4.1 Embedding标准化4.2 softmax增强 论文链接：Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations 1.总览 目前，业界的推荐系统可以分成Retrieval和Ranking两个阶段，Retrieval需要从百万级以上的item库中召回到千级item作
神经网络学习中的SoftMax与交叉熵
TSINGHUAJOKING
12-21 835
简 介： 对于在深度学习中的两个常见的函数SoftMax，交叉熵进行的探讨。在利用paddle平台中的反向求微分进行验证的过程中，发现结果 与数学定义有差别。具体原因还需要之后进行查找。 关键词： 交叉熵，SoftMax #mermaid-svg-gU4t5gYk0FX0zqft .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#m..
人工智能：大模型训练向量召回概念探讨
最新发布
十年运维开发经验的王义杰在此分享自己的知识和经验
03-13 866
人工智能的大模型训练是一个复杂且资源密集的过程，其中一个关键环节是向量召回。向量召回是指在给定查询的情况下，从海量数据中快速有效地检索出最相关的信息或项目的技术。这一概念在信息检索、推荐系统、自然语言处理等领域有着广泛的应用。接下来，我们将深入探讨向量召回的基本原理、应用场景以及它在人工智能模型训练中的重要性。
双塔模型中的负采样
Kaiyuan_sjtu的博客
09-14 767
推荐模型中双塔模型早已经普及.一个塔学用户表达.一个塔学item表达.很多双塔模型用各种各样的in-batch负采样策略.十方也是如此.往往使用比较大的batchsize,效果会比较好,但...
负样本采样及bias校准、ctr平滑
weixin_30480583的博客
05-06 979
参考：https://zhuanlan.zhihu.com/p/31529643 在CTR预估中，负样本采样是一种常见的特征工程方法。一般CTR预估的原始正负样本比可能达到1:1000~1:10000左右，而要获取好的效果，一般需要采样到1:5~1:15之间（VC维可推导）。 我们详细分析采样对于pCTR的影响。 设采样前CTR为,采样后CTR为,正样本数为,负样本数为...
点击率预估-负采样后校准方法
十三
01-23 1951
在训练点击率预估模型的时候，训练数据中正负样本不均衡是常见的现象，对于这种问题，会对负样本进行采样，然后将采样后的负样本和正样本一起作为训练数据来训练ctr模型。由于负采样的缘故，会导致线上待预测数据分布与离线训练分布有很大差距，线上预估分数往往会高于真实值，所以非常有必要进行校准。 校准过程如下 变量定义。 p′p^{'}p′已经采样后的预估概率（训练） ppp未经采样的预估概率（测试） NpN_pNp​原始正样本数量 NnN_nNn​采样后负样本数量 rrr负样本的采样比例，分数，例如0.1 Nnr
论文翻译：Attention is all you need
01-20
Attention is all you need 摘要 主要的序列转换模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单的网络体系结构Transformer，它...
序列召回推荐模型资料说明：掌握经典的推荐系统序列召回算法/模型
07-01
2.掌握经典的推荐系统序列召回算法/模型： GRU4Rec、 SR-GNN、 MIND、 Comirec-DR、 Comirec-SA。 3.了解推荐系统论文序列召回常见问题的解决方法。 Task01：深度学习模型快速入门 Task02：传统序列召回实践：...
Python-商品推荐算法-词向量计算-embedding
06-05
嵌入（embedding）在商品推荐算法中的作用是将商品或用户表示为低维度的向量空间中的向量。通过使用嵌入，可以将高维的商品或用户特征映射到一个连续、稠密且语义相关的向量表示，从而捕捉到商品或用户之间的相似性...
机器学习算法总结2:感知机和支持向量机
01-06
感知机于1957年由Rosenblatt提出，是神经网络与支持向量机的基础。感知机二类分类的线性分类模型，其输入为...2.向量外积(向量叉乘、向量积)：叉乘运算结果是向量，并且两个向量的外积与这两个向量组成的坐标平面垂直。
分类算法2：SVM支持向量机方法
08-11
分类算法2：SVM支持向量机方法
softmax锐化操作
BMSW的博客
04-25 436
有时会遇到数据特别集中的分布在某一个区间，如果要在这个区间内选取一个值作为阈值时，选取的阈值稍微有些变动就会导致数据量变化很大，因此需要将密集分布的数据分散开来，此时可以用到softmax的锐化操作，代码如下： import numpy as np def softmax(x,t): x = x/t # 对输入进行锐化操作，其中t是系数 x = np.exp(x) # 对所有元素求指数 tmp = np.sum(x) # 求元素和 x /= tmp # 求so
论文｜从DSSM语义匹配到Google的双塔深度模型召回和广告场景中的双塔模型思考
Thinkgamer博客
08-12 1447
基于深度学习的召回近些年已经得到了长足的发展，其中双塔模型更是作为经典的深度学习召回模型被各大公司应用，回顾双塔模型的发展可以追溯到2003年微软发布的DSSM模型，本篇文章将会从DSSM开始介绍几篇论文，看一下DSSM模型是怎么发展成为双塔模型并应用在推荐系统中做召回的。 DSSM DSSM模型是2013年微软发布的，其论文全称为：Learning Deep Structured Semantic Models for Web Search using Clickthrough Dara（https://
SSL相关论文总结（三）
WeakCoder的博客
05-06 218
Semi-Supervised Learning with Ladder Networks 2015年的一篇半监督方向的顶级论文，论文中有一些很有意义的创新，也是为后续的研究工作指了一条路。 前言 我对这篇论文的理解不深（英语不好+数学不好），只能说是拜读了。 一、潜变量模型 Latent variable models：潜变量模型，我们在得到最初的表面特征x之后会通过mapping z=f(x)，意思就是对于某种东西的预测，其决定性因素并不在于表面特征x，而在于潜在的一组变量，这组变量很难赋予其某种特定
Keras-DSSM之in-batch余弦相似度负采样层
cdj0311的专栏
10-20 1120
定义余弦相似度层，并在batch内进行负采样 NEG, batch_size = 20, 128 class NegativeCosineLayer(): """ 自定义batch内负采样并做cosine相似度的层 """ def __call__(self, inputs): def _cosine(x): query_encoder, doc_encoder = x doc_encoder_fd = doc_encod
Softmax回归模型及其代码实现
weixin_44881806的博客
10-08 1049
一、Softamx回归模型的原理 softmax回归跟线性回归一样，都是将输入特征与权重做线性叠加。与线性回归的一个主要不同在于，softmax回归的输出值个数等于标签里的类别数。比如线性回归中很常见的问题----预测房屋价格，我们通常会选取面积（平方米）和房龄（年）作为影响价格的两个因素，在这里面积和房龄作为特征而输出只有一个价格的预测值。而对于softmax，它更适用于做分类预测，比如在垃圾邮件分类问题中，我们往往需要选取几个主要的特征作为系统的输入，然后经过softmax分类算法得到...
淘宝搜索的向量召回算法MGDSPR
null的专栏
04-02 1635
阿里的模型相对而言是相当复杂的，里面涉及到了大量的attention的计算，这会给在线任务带来巨大的压力。从原理上来说，低一点是对Query进行多粒度的分析，试图能够挖掘多粒度的语义信息。第二点是用户行为的挖掘，相当的复杂了。第三点是对相关性的控制，设立了独立的模块用于控制相关性。其他的如样本的选择，softmax中的温度参数等都差不太多。query侧进行了多粒度的语义分析，但item侧相对就简单了很多，这个对相关性的建模是不太友好的；
前沿重器[28] | 前沿的向量召回都是怎么做的
baidu_25854831的博客
07-03 889
前沿重器栏目主要给大家分享各种大厂、顶会的论文和分享，从中抽取关键精华的部分和大家分享，和大家一起把握前沿技术。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。近期，我更新了我的文章合集，累积起来有60w字，在这：CS的陋室60w字原创算法经验分享-2022版。往期回顾前沿重器[19] | 预训练在美团搜索广告中的应用前沿重器[20] | 文本分类和意图识别调研思考前...
推荐系统(4):深入浅出向量召回检索技术
yanianthe的博客
03-30 1885
推荐系统中，向量召回如何实现？
Python 推荐算法 双塔模型
07-27
双塔模型是一种推荐算法中常用的模型，它由两个塔组成，一个是用户塔，另一个是物品塔。这两个塔都是由深度神经网络（DNN）构成的，最后一层的隐藏单元个数相同，以确保用户嵌入和物品嵌入的维度相同。在双塔模型中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值