【PyTorch基础教程30】DSSM双塔模型（线上召回 | 模型更新）

已于 2023-07-12 15:48:55 修改
阅读量2.2k 收藏 8
点赞数 7
分类专栏： 推荐算法 深度学习 文章标签： 推荐算法 pytorch
于 2022-06-22 22:13:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/125383309
版权

内容总结

在这里插入图片描述

  • 召回中，一般的训练方式分为三种：point-wise、pair-wise、list-wise。RecHub中用参数mode来指定训练方式，每一种不同的训练方式也对应不同的Loss。对应的三种训练方式可以参考下图，其中a表示user的embedding，b+表示正样本的embedding，b-表示负样本的embedding。
    • 前面两行是指pointwise即图例看待每个正负样本，使用二分类交叉熵
    • pairwise：每次选择一个正样本和一个负样本，使用Hinge loss或者BPR loss损失函数
    • listwise：每次选择一个正样本和多个负样本，使用softmax loss函数，其实就是多分类问题（如下图最下面的CrossEntropyLoss函数）
      在这里插入图片描述
  • 召回中样本的选择：
    • 正样本：用户点击的物品
    • 负样本：没有被召回的；召回但是被排序淘汰的；曝光但是未点击的
  • 微软DSSM奠定的基本思想：
    • 离线使用cosine优化相似度
    • 在线使用ANN向量化召回
    • 首次提出随机负采样
了解本专栏 订阅专栏 解锁全文 超级会员免费看
山顶夕景
关注
  • 7
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
数据与广告系列三十五：召回，没有什么是一个双塔解决不了的，如果有，那就多来几个
数据虫巢
01-03 914
作者·黄崇远『数据虫巢』全文19476字题图ssyer.com“广告推荐的召回，没有什么是一个双塔解决不了的，如果有，那就多来几个。当然，这是戏说，但对于召回技术来说，确实是崛起于双塔，或者说双塔技术为推荐广告的召回提供了更广阔的想象空间，但实际上召回发展的路上，却不止于双塔。”如题引，我们今天的主题包含了两层，业务视角是召回，技术视角是双塔技术的演化，而逻辑的推进是两者的有机结合，最终我们会沿...
双塔召回模型的前世今生
han_liwei的博客
04-16 319
因为在双塔结构下，无论对于userA还是userB而言，面对的item embedding都不会有区别，所以可以离线对所有的物料提前过item tower得到item embedding，当userA来时，只需要计算userA embedding即可，由此双塔的第一个好处便浮出水面：无需每次请求重复计算，节省了一大批算力资源。让我们重新回顾一下问题。自此，归一化解释清楚：双塔召回需要ANN，点积不保序一般使用欧式距离，双塔最上层归一化能将输入映射到欧式空间，保证了训练检索的一致性，提高了效果。
【pytorch模型实现12】文本匹配之DSSM
lyj223061的博客
03-09 1779
DSSM模型结构 代码地址：https://github.com/lyj157175/Models import torch import torch.nn as nn class DSSM(nn.Module): def __init__(self, vocab_size, embedding_dim, dropout): super(DSSM, self).__init__() self.embed = nn.Embedding(vocab_size,
pytorch基础教程
01-07
基础部分 基本数据类型 Data type 常用的有torch.FloatTensor, torch.DoubleTensor, torch.IntTensor, torch.ByteTensor, torch.LongTensor。 如何标注string呢？ 在pytorch中使用One-hot（独热编码）来表示string，[0.1.0.0…]，比如： [1 0]：猫 [0 1]：狗 但是词与词之间的相关性并没有在one-hot中显现。所以进一步要（Embedding）用编码的方法表达语言：比如使用word2vec和glove等。 import torch a = torch.randn
Pytorch模型训练实用教程
10-03
Pytorch模型训练实用教程 来源： https://github.com/TingsongYu/PyTorch_Tutorial
PyTorch 模型训练实⽤教程_余霆嵩（去水印）
12-20
本教程内容及结构： 本教程内容主要为在 PyTorch 中训练一个模型所可能涉及到的方法及函 数，并且对 PyTorch 提供的数据增强方法（22 个）、权值初始化方法（10 个）、损失函数（17 个）、优化器（6 个）及 tensorboardX 的方法（13 个） 进行了详细介绍。 本教程分为四章，结构与机器学习三大部分一致。 第一章，介绍数据的划分，预处理，数据增强； 第二章，介绍模型的定义，权值初始化，模型 Finetune； 第三章，介绍各种损失函数及优化器； 第四章，介绍可视化工具，用于监控数据、模型权及损失函数的变化。 本教程适用读者： 1．想熟悉 PyTorch 使用的朋友； 2．想采用 PyTorch 进行模型训练的朋友； 3．正采用 PyTorch，但无有效机制去诊断模型的朋友； 干货直达： 1.6 transforms 的二十二个方法 2.2 权值初始化的十种方法 3.1 PyTorch 的十七个损失函数 3.3 PyTorch 的十个优化器 3.4 PyTorch 的六个学习率调整方法 4.1 TensorBoardX
Dassl.pytorch:用于域自适应和半监督学习的PyTorch工具箱
03-20
达斯尔 Dassl是一个工具箱，旨在研究领域适应和半监督学习（因此而命名为Dassl ）。它具有模块化设计和统一的界面，可以快速进行原型设计和新DA / SSL方法的试验。使用Dassl，只需几行代码即可实现一种新方法。 您可以将Dassl用作库进行以下研究： 领域适应 域泛化 半监督学习 什么是新的 [2021年3月]我们刚刚在上发布了关于域泛化的调查，该调查总结了该主题的十年发展情况，涵盖了历史，相关问题，数据集，方法论，潜力方向等等。 [2021年1月]我们最近的工作 （混合不同域样本的实例级特征统计信息以改善域泛化）已被ICLR'21接受。该代码已在中发布，其中跨域图像分类部分基于Dassl.pytorch。 [2020年5月] v0.1.3 ：添加了Digit-Single数据集，用于对单源DG方法进行基准测试。相应的CNN模型为 ，数据集配置文件为 。参见了解如何评估您的方
Python-文本匹配的相关模型DSSMESIMABCNNBIMPM等数据集为LCQMC官方数据
08-12
文本匹配的相关模型DSSM,ESIM,ABCNN,BIMPM等，数据集为LCQMC官方数据
深度学习实战案例：构建基于 DSSM 双塔模型的电影推荐系统
Python学习与数据挖掘
05-02 1473
DSSM深度语义匹配模型原理很简单：获取搜索引擎中的用户搜索query和doc的海量曝光和点击日志数据，训练阶段分别用复杂的深度学习网络构建query侧特征的query embedding和doc侧特征的doc embedding，线上infer时通过计算两个语义向量的cos距离来表示语义相似度，最终获得语义相似模型。完整代码、数据、技术交流提升， 均可加入知识星球交流群获取，群友已超过2000人，添加时切记的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。
推荐系统实战4——EasyRec 搭建DSSM召回模型实现CTR点击平台
Bubbliiiing的学习小课堂
12-12 3682
一般的推荐系统至少需要两步来完成，基本流程为召回=>排序，当然大型的推荐系统远远不止于此。召回是其中的第一步，目的是最大程度的筛选出user可能感兴趣的item。
PyTorch模型训练最新实用教程 (余霆嵩) PDF版
12-24
本教程以实际应用、工程开发为目的，着重介绍模型训练过程中遇到的实际问题和方法。如上图所示，在机器学习模型开发中，主要涉及三大部分，分别是数据、模型和损失函数及优化器。本文也按顺序的依次介绍数据、模型和损失函数及优化器，从而给大家带来清晰的机器学习结构。 本教程内容主要为在 PyTorch 中训练一个模型所可能涉及到的方法及函数，并且对 PyTorch 提供的数据增强方法（22 个）、权值初始化方法（10 个）、损失函数（17 个）、优化器（6 个）及 tensorboardX 的方法（13 个）进行了详细介绍。 本教程分为四章，结构与机器学习三大部分一致： 第一章，介绍数据的划分，预处理，数据增强； 第二章，介绍模型的定义，权值初始化，模型 Finetune； 第三章，介绍各种损失函数及优化器； 第四章，介绍可视化工具，用于监控数据、模型权及损失函数的变化。
使用 PyTorch 实现的深度学习 ECG 模型
最新发布
04-02
PyTorch 是一个流行的开源深度学习框架，被广泛用于构建各种人工智能模型。在心电图（ECG）领域，研究人员利用 PyTorch 来开发深度学习模型，用于识别心脏疾病和异常。这些模型可以从心电图数据中学习复杂的特征，...
python 语义网络_利用python进行文本相似度测量
weixin_39943750的博客
12-07 1485
在自然语言处理(Natural Language Processing, NLP)中，经常会涉及到如何度量两个文本的相似度问题。在诸如对话系统(Dialog system)和信息检索(Information retrieval)等的问题中，如何度量句子或者短语之间的相似度尤为重要。度量文本相似度包括如下三种方法：一是基于关键词匹配的传统方法，如N-gram相似度；二是将文...
时序分析 17 状态空间模型 上 （隐含马尔可夫模型）
weixin_43171270的博客
01-19 1540
时序分析 17 状态空间模型 上 隐含马尔可夫模型     Dynamic State Space Model(DSSM), 状态空间模型在数据分析、时序分析，机器学习领域有非常重要的应用。它假设一个系统的状态是动态变化的，且当前状态依赖于过去的状态，这种假设是比较符合客观上我们所能观测到的现象。 ​     本文和下一篇文章，我们将讨论动态空间模型中两种最重要的模型：隐含马尔可夫模型和卡拉曼滤波。 状态空间模型 ​ &nbsp
DSSM召回原理与优化
console.log(**)的博客
07-26 1601
DSSM召回原理与优化点
推荐系统（九）SENet 双塔模型在推荐领域召回粗排的应用
Jin_Kwok的博客
07-21 801
在推荐领域，双塔模型是粗排/召回环节应用最为广泛的算法模型，各种改进型双塔模型层出不穷，本文介绍一种基于 SENet 的双塔模型。
推荐模型复现（一）：熟悉Torch-RecHub框架与使用
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
06-22 1328
Torch-RecHub主要由数据处理模块、模型层模块和训练器模块组成：  以下采用小样本的criteo数据集，仅有115条数据。该数据集是发布的在线广告数据集。它包含数百万个展示广告的点击反馈记录，该数据可作为点击率（CTR）预测的基准。数据集具有40个特征，第1列是标签，其中值1表示已点击广告，而值0表示未点击广告。其他特征包含13个dense特征和26个sparse特征。 Copy to clipboardErrorCopied Copy to clipboardErrorCopied 5 ..
【ChatGPT】LLM三大核心技术及GPT应用（ChatGLM-6B、duckduckgo_search、GPT在科研的应用等）
热门推荐
发现问题，并解决问题，批判性思维
04-15 2万+
instructGPT（基于提示学习的系列模型）——>GPT3.5（大规模预训练语言模型）——>ChatGPT模型（高质量数据标注+反馈学习）。chatGPT三大技术：情景学习、思维链、自然指令学习。 GPT4飞跃式提升：多模态、输入字符数量、推理能力、文本创造，如poem、解释图片含义、图表计算等，2022年8月完成训练。 论文：https://cdn.openai.com/papers/gpt-4.pdf ChatGPT Plus：集成GPT-4的ChatGPT升级版，https://chat.open
召回阶段的双塔模型和排序阶段的双塔模型有什么不同
06-02
召回阶段的双塔模型和排序阶段的双塔模型主要有以下区别： 1. 目标不同：召回阶段的双塔模型的目标是通过计算相似度，从候选集中召回一部分与查询相关的文档或商品等内容；而排序阶段的双塔模型的目标则是对已经召回的内容进行精细排序，以呈现给用户最有可能感兴趣的内容。 2. 训练数据不同：召回阶段的双塔模型需要大规模的数据集对模型进行训练，以保证召回的准确性和召回率；而排序阶段的双塔模型则需要更加精细的标注数据，以训练模型对用户的偏好进行建模。 3. 特征不同：召回阶段的双塔模型主要依赖于内容的语义和相似度等特征，如文本向量、图片向量等；而排序阶段的双塔模型则需要考虑更多的用户行为特征，如点击率、购买率等。 4. 算法不同：召回阶段的双塔模型通常采用高效的近似计算方法，如LSH等；而排序阶段的双塔模型则通常采用更加精细的模型，如GBDT等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值