NLP深入学习——什么是词向量和句向量（Word Embedding and Sentence Embedding）

最新推荐文章于 2024-03-18 15:45:19 发布
最新推荐文章于 2024-03-18 15:45:19 发布
阅读量1.3k 收藏 4
点赞数
原文链接：https://blog.csdn.net/weixin_42894555/article/details/106886262?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~first_rank_v2~rank_v25-6-106886262.nonecase&utm_term=%E4%B8%BA%E4%BB%80%E4%B9%88%E8%A6%81%E5%85%88%E8%BD%AC%E6%8D%A2%E6%88%
版权

词向量（Word Embedding）

词向量（Word embedding），又叫Word嵌入式自然语言处理（NLP）中的一组语言建模和特征学习技术的统称，其中来自词汇表的单词或短语被映射到实数的向量。
在这里插入图片描述
【说明：上面是二维空间上的呈现形式】

句向量（Sentence Embedding）

①Averging法则

在这里插入图片描述

②LSTM/RNN

这个后面在开一篇讲解

草尖上的舞动
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
词向量与词向量拼接_如何拥抱 embedding ？从词向量到句向量的技术详解-阿里云开发者社区...
weixin_39639643的博客
12-19 1043
小叽导读：13年 Word2vev 横空出世，开启了基于 word embedding pre-trained 的 NLP 技术浪潮，6年过去了，embedding 技术已经成为了 nn4nlp 的标配，从不同层面得到了提升和改进。今天，我们一起回顾 embedding 的理论基础，发现它的技术演进，考察主流 embedding 的技术细节，最后再学习一些实操案例。从实战角度而言，现在一般把 fa...
句向量学习笔记
06-09
句向量学习笔记
段落向量与句子向量表达
热门推荐
刘炫320的博客
05-20 2万+
这是Tomas Mikolov的一篇关于段落向量和句子向量的论文。本文是我翻译加自我理解的结果，如需要更详细的介绍，请看英文文献。摘要许多机器翻译的算法都需要使用固定长度的词向量特征。在到达文本层面时，我我们最常用的一个固定长度的特征时词袋模型。尽管他们很流行，但是词袋模型有两大缺点：1、失去了词序特征；2、忽略了语义特征，例如，powerful与strong和Paris距离都是非常远的。在本文中，
文本表征论文-sentence embedding
orangerfun的博客
12-01 1771
关于sentence embedding 的综述：sentence bert, bert-flow, bert-whitening, simcse
深入理解词向量与句向量：NLP中的基础概念
最新发布
CSDN7689的博客
03-18 701
词向量是将单词映射到高维空间中的实数向量的表示方法。每个单词都被表示为一个固定长度的向量，使得单词之间的语义关系能够在向量空间中得到保留和表达。句向量是将句子映射到向量空间中的表示方法，它能够捕捉句子的语义信息和语法结构。词向量和句向量是NLP中的两个基础概念，它们为文本数据的表示和处理提供了重要的工具。通过对单词和句子进行向量化表示，我们能够更好地利用机器学习和深度学习技术来处理自然语言数据，从而实现各种文本分析和应用任务。
Sentence Embedding：自注意力机制
qq_39778575的博客
10-07 1288
论文：ICLR2017-A structured self-attentive sentence embedding 梗概： 本文提出了一种基于自注意力机制的sentence embedding，自注意力机制是区别于注意力机制的，他可以减少对外部信息的依赖，只依靠自己的额输入来生成对应的注意力权重，他的权重主要是基于内部的相关性。 我们使用一个2-D的矩阵来表征一个句子，矩阵中的每一行代表句子的一个部分，从而可以更好的反映句子的不同特征，可以更好的进行之后的训练。 ...
【文本特征表征（1）】什么是embedding（把物体编码为一个低维稠密向量）pytorch中nn.Embedding原理及使用，大模型的LMAS.Embedding原理及使用
Hali_Botebie的博客
06-15 1万+
使embedding空前流行的“word2vec”到了深度学习时代，我们一定会首先想到 2013 年的 Word2Vec——没错，句子是由词构成的，有了词向量，句子向量自然而然呼之欲出了。直觉看，直接对每个词的向量拼接、求和、逐元素相乘、取平均值或最大值，得到的向量都可以表示为句子向量。当然，这里面也有一些花样，比如加权重求和：权重可以根据词性、句法结构等设定一个固定值，然后对每个位置的词向量乘权重再求和；权重也可以根据输入向量来，输出向量的_每个元素_都根据输入元素向量进行加权求和。
NLP词向量和句向量方法总结及实现
古月哲亭
02-09 218
NLP词向量和句向量方法总结及实现：
cips2016+学习笔记︱简述常见的语言表示模型（词嵌入、句表示、篇章表示）
素质云笔记
02-05 1万+
在cips2016出来之前，笔者也总结过种类繁多，类似词向量的内容，自然语言处理︱简述四大类文本分析中的“词向量”（文本词特征提取）事实证明，笔者当时所写的基本跟CIPS2016一章中总结的类似，当然由于入门较晚没有CIPS2016里面说法权威，于是把CIPS2016中的内容，做一个摘录。 CIPS2016 中文信息处理报告《第五章 语言表示与深度学习研究进展、现状及趋势》第三节 技术方法和研
NLP学习04_词向量、句子向量、倒排表
TimEcho的博客
05-16 923
词向量 欧式距离和余弦相似度的方法是无法表达单词之间的语义相似度 归为one-hot方式无法表达单词间的语义相似度 one-hot的表达方式，如果词典大小是指数级的，那么一个句子的向量表示中，只有少数位置是1，其他位置都是0 这就导致了向量稀疏 归结one-hot缺点：1、无法表达语义相似度，2、稀疏问题 词向量表示法 分布式表示法 每个单词表示的向量维度不再是等于词典长度，而是自定义的 向量中每个位置都有一个非0数值 欧式距离的方式在分布式表示方法中可以来比较单词之间的相似度 词向量只是分布式表示法
句向量 Sentence Embedding
be_humble的博客
07-11 2127
句向量 Sentence embedding 对比学习 SimCSE SCD Bert-flow Bert-whitening
词向量模型（word2vec）总结笔记
01-07
自从Mikolov在他2013年的论文“Efficient Estimation of Word Representation in Vector Space”提出词向量的概念后，NLP领域仿佛一下子进入了embedding的世界，Sentence2Vec、Doc2Vec、Everything2Vec。词向量基于...
Deep Sentence Embedding Using Long Short-Term Memory Networks
03-02
sentence embedding, a hot topic in current natural language processing research, using recurrent neural networks (RNN) with Long Short-Term Memory (LSTM) cells. The proposed LSTM-RNN model ...
Python-基于同义词词林知网指纹字词向量向量空间模型的句子相似度计算
08-10
self complement of Sentence Similarity compute based on cilin, hownet, simhash, wordvector,vsm models，基于同义词词林，知网，指纹，字词向量，向量空间模型的句子相似度计算。
A Structured Self-attentive Sentence Embedding
09-01
A Structured Self-attentive Sentence Embedding
bert-as-service：使用BERT模型将可变长度句子映射到固定长度向量
02-03
•••• ••••韩晓制作• :globe_with_meridians: 它是什么BERT是为预训练语言表示而的NLP模型。 它利用了在网络上公开提供的大量纯文本数据，并且以无人监督的方式进行了培训。 对于每种语言而言，预训练BERT...
Sentence Embedding
fly_time2012的专栏
04-17 2134
https://www.jianshu.com/p/ab367e462e4c 本文介绍了word2vec作者的一篇计算sentence vector的论文，在文本分类、文本向量表示中有着很好的应用。 需先深入了解word2vec的原理，语言结构：skip-gram,CBOW；优化方法：加速softmax (negative sampling和hierarchical softmax) pape...
NLP的Token embedding和位置embedding
未名方略
01-10 2997
嵌入？
sentence embedding最新成果
05-29
最近，有许多研究人员致力于改进句子嵌入（sentence embedding）的方法。其中一些最新的成果包括： 1. SBERT（Sentence-BERT）：这是一个新的句子嵌入模型，它使用了一种称为Siamese-BERT的结构，它是BERT的变体，可以在不同的任务上学习句子嵌入。SBERT已经在多个NLP任务中取得了最先进的结果。 2. RoBERTa：RoBERTa是BERT的一个改进版本，它使用更长的训练时间和更大的数据集来得到更好的句子嵌入。RoBERTa已经在多个NLP任务中取得了最先进的结果。 3. ELECTRA：ELECTRA是一种新的预训练模型，它使用了一种称为替换掩码的方法来训练模型。这种方法可以使模型更好地理解语言结构，从而得到更好的句子嵌入。 这些是最近一些令人兴奋的句子嵌入方法，它们在多个NLP任务中都取得了最先进的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值