DSSM框架（Deep Structured Semantic Model）：深度学习计算语义相似度

最新推荐文章于 2022-10-17 17:12:12 发布
最新推荐文章于 2022-10-17 17:12:12 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： 算法 深度学习 nlp 机器学习 文章标签： nlp DSSM 语义相似度
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ty44111144ty/article/details/99173230
版权
本文介绍了DSSM（Deep Structured Semantic Model）框架，利用点击数据训练模型，计算文本间的语义相似度。通过输入层的word hashing和深度网络结构，降维生成低维语义向量，并使用余弦距离计算相似度。DSSM的优势在于减少切词依赖，提高模型泛化能力，但缺点是丢失语序信息。后续模型如CNN-DSSM和LSTM-DSSM对此进行了改进。
摘要由CSDN通过智能技术生成

原文地址：DSSM框架（Deep Structured Semantic Model）：深度学习计算语义相似度，现在搬运到CSDN~

欢迎关注我的公众号，微信搜 algorithm_Tian 或者扫下面的二维码~

现在保持每周更新的频率，内容都是机器学习相关内容和读一些论文的笔记，欢迎一起讨论学习~

文章：

Huang P S, He X, Gao J, et al. Learning deep structured semantic models for web search using clickthrough data[C]// ACM International Conference on Conference on Information & Knowledge Management. ACM, 2013:2333-2338.

两篇写得很好的博客，有助于理解：

https://cloud.tencent.com/developer/article/1005600

http://kubicode.me/2017/04/21/Deep%20Learning/Study-With-Deep-Structured-Semantic-Model/

有个博主自己写的代码：

https://github.com/InsaneLife/dssm

文章理解起来并不难，对于没有NLP基础的读者比较友好。主要是设计了一个深度网络结构来计算文本之间的相似度。这几篇博客对文章讲解得很详细了，

最低0.47元/天 解锁文章
ty44111144ty
关注
专栏目录
论文阅读笔记-Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
mohen_777的博客
10-07 1015
优点解决了LSA、LDA、Autoencoder等方法存在的一个最大的问题：字典爆炸（导致计算复杂度非常高），因为在英文单词中，词的数量可能是没有限制的，但是字母 n -gram的数量通常是有限的中文方面使用字作为最细切分粒度，可以复用每个字表达的语义，减少分词的依赖，从而提高模型的泛化能力；基于词的特征表示比较难处理新词，字母的 [公式] -gram可以有效表示，鲁棒性较强使用有监督方法，优化语义embedding的映射问题省去了人工的特征工程采用有监督训练，精度较高。
【推荐算法】DSSM双塔模型：Deep Structured Semantic Models for Web Search using Clickthrough Data
长相忆兮长相忆的专栏
06-17 6004
DSSM，全称Deep Structured Semantic Model，就是我们通常所说的双塔模型，是微软公司提出的一种基于深度网络的语义模型，其核心思想是将query和doc映射到到共同维度的语义空间中，通过最大化query和doc语义向量之间的余弦相似度，从而训练得到隐含语义模型，达到检索的目的。 DSSM有很广泛的应用，比如：搜索引擎检索，广告相关性，问答系统，机器翻译等。
QA-pair-Classify:DSSM框架
05-02
此处用于cnn做语义相似度and QA match ##For pairCNN mdoel: 1.在similarity layer层中，假定了一个相似矩阵，让模型自学习2.在join layer层中，不仅把similarity因素进行concat,还把additional features也一起concat进来。其中，additional features include: sentence lengths, another sample similarities (namely tf-idf) and so on , which depends on your project. 3.在最后的loss function中，通过cross_entropy_function和改造的hinge_loss_function比较，使用改造的loss函数进行训练，可以得到相似的语句有更大的得分，更
DSSMs: Deep Structured Semantic Models
人生而孤独，却不甘寂寞。
02-08 4662
Attention!我的Dr.Sure项目正式上线了，主旨在分享学习Tensorflow以及DeepLearning中的一些想法。期间随时更新我的论文心得以及想法。Github地址：https://github.com/wangqingbaidu/Dr.SureCSDN地址：http://blog.csdn.net/wangqingbaidu个人博客地址：http://www.wangqingbai
【深度学习算法原理】Deep Structured Semantic Models（DSSM）
null的专栏
06-22 3330
参考文献 https://blog.csdn.net/shine19930820/article/details/78810984
Deep Syntax-Semantics Model（2020 EMNLP）
qq_43390809的博客
12-23 222
Improving Text Understanding via Deep Syntax-Semantics Communication 动机 Syntax-Tree model与sequential semantic model相结合，提高下游任务性能。 Introduction 句子中句法和语义的比较。相同的颜色表示相同(相似)的语义目标。 Model 多层结合模型 定义 句子SSS = {w1w_1w1​,…,wnw_nwn​}，对应的sequential 表示： 树表示： Sequen..
A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval笔记
kaka19880812的专栏
03-16 2172
用于搜索的CLSM模型
深度学习解决NLP问题：语义相似度计算——DSSM
热门推荐
TonyZhou的博客
07-31 2万+
在NLP领域，语义相似度的计算一直是个难题：搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。
[已译完] Deep Structured Semantic Models (DSSM) 论文翻译
Andrwin的博客
05-06 1013
使用点击数据学习用于Web搜索的深度结构化语义模型 Learning Deep Structured Semantic Models for Web Search using Clickthrough Data ABSTRACT 摘要 Latent semantic models, such as LSA, intend to map a query to its relevant documents at the semantic level where keyword-based matching o
一种用于DSM局部缺失的深度学习修复算法.pdf
08-18
一种用于DSM局部缺失的深度学习修复算法.pdf
DSSM 阅读 - Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
xuanshuang的博客
10-17 402
paper 阅读 DSSM
深度学习 - 21.TF x Keras DSSM 理论与实践
BITDDD小栈
06-22 1994
一.引言 DSSM (Learning Deep Structured Semantic Models for Web Search using Clickthrough Data) 一文利用点击数据挖掘词语的深层语义模型，其思路是构建一个 Query 塔和一个 Title 塔，利用深度学习进行特征挖掘，最终计算两个塔的向量相似度，结合标签进行反向传播训练，所以 DSSM 又叫双塔，其应用场景主要以搜索，召回等场景为主，当然也可用于给定 user-item 计算其向量与相似度，下面就看看双塔如何构造。
论文笔记《Learning deep structured semantic models for web search using clickthrough data》
weixin_51154479的博客
06-12 301
使用DNN将序列和文本融合到共同的低维空间，并使用余弦相似度计算两者的距离；为了处理常见任务中的大规模语料，采用了word hashingXXX为输入层，YYY为输出层，l1,l2,l3l1, l2, l3l1,l2,l3为隐藏层​ l1=W1Xl1 = W_1Xl1=W1​X​ li=f(Wili−1+bi),i=2,...,N−1l_i = f(W_il_{i-1} + b_i), i=2,...,N-1li​=f(Wi​li−1​+bi​),i=2,...,N−1​ y=f(WNlN−1+bN)y =
深度语义匹配模型-DSSM 及其变种
weixin_33785108的博客
07-17 801
转自：http://ju.outofmemory.cn/entry/316660 感谢分享~ DSSM这篇paper发表在cikm2013，短小但是精炼，值得记录一下ps:后来跟了几篇dssm的paper，一并记录在这里 DSSM DSSM的结构 DSSM最大的卖点在检索场景下 使用点击数据来训练语义层次的匹配，简单的来说，传统检索场景下的匹配主要有: 字面匹...
DSSM：深度语义匹配模型（及其变体CLSM、LSTM-DSSM）
weixin_34292402的博客
06-26 1181
导语 在NLP领域，语义相似度的计算一直是个难题：搜索场景下Query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用，希望给读者带来帮助。 1. 背景 以搜索引擎和搜索广告为例，最重要的也最难解决的问题是语义相似度，这里主要体现在两个方面...
Learning Deep Structured Semantic Models for Web Search using Clickthrough Data笔记
kaka19880812的专栏
02-26 2810
用于搜索的DSSM模型
NLP-文本匹配-2013：DSSM【首次提出将深度学习应用到文本匹配，每个文本对象均由５层的神经网络进行向量化表示，最后通过向量间的余弦值来衡量文本对象的相似度】【釆用词袋模型，丢失单词顺序关系】
u013250861的博客
09-06 204
深度语义结构模型（DSSM）首次提出了将深度学习应用到文本匹配方法中，该模型通过建模用户查询和文档的匹配度，同传统文本匹配模型相比获得了显著的提升。在深度语义结构模型中，每个文本对象均由５层的神经网络进行向量化表示，最后通过向量间的余弦值来衡量文本对象的相似度 ...
文本匹配专题-2模型DSSM：Learning Deep Structured Semantic Models for Web Search using Clickthrough Data
iin729的博客
05-23 311
目录 论文简介 发表信息 标题：利用点击数据学习网页搜索中深层结构化语义模型 作者：Po-Sen Huang、Xiaodong He 等 单位：伊利诺伊大学厄巴纳-香槟分校、微软研究院 会议：CIKM 时间：2013 研究对象 作者解决的是搜索领域的文本检索和候选文章的排序问题，即给定文本A，对文本BCD等进行相关性排序，将得分高的排序在前面。实质上还是文本匹配问题。DSSM之前，解决方法多为传统机器学习(LSA,LDA等)，DSSM作为文本匹配的神经网络方法开山之作，从这之后才出现大量深度学习方法以及工业
深度学习驱动的NLP语义压缩与应用解析
相比之下，基于神经网络的计算模型如DSSM（Deep Structured Semantic Model）则更深入地利用了深度学习的优势，如词嵌入（Word Embeddings）、卷积神经网络（CNN）和循环神经网络（RNN）。这些模型能够捕捉到词语...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值