Self-attention与Word2Vec

已于 2024-02-24 18:09:24 修改
阅读量503 收藏 10
点赞数 8
分类专栏： 大语言模型 文章标签： llm 大语言模型 自然语言处理 词嵌入
于 2024-02-24 18:03:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hhl_csdn/article/details/136274268
版权
本文对比了两种词嵌入技术——Word2Vec和Self-attention。Word2Vec通过分析大量文本数据学习全局向量表示，忽略了上下文影响；而Self-attention则在Transformer等模型中动态调整元素间关联度，根据上下文生成多义词的不同表示，更适合处理序列数据。
摘要由CSDN通过智能技术生成

Self-attention（自注意力）和 Word2Vec 是两种不同的词嵌入技术，用于将单词映射到低维向量空间。它们之间的区别：

  1. Word2Vec：

    • Word2Vec 是一种传统的词嵌入（word embedding）方法，旨在为每个单词学习一个全局的向量表示。
    • 它通过分析大量文本数据，将单词映射到一个连续的向量空间中，使得相似的单词在向量空间中距离较近。
    • Word2Vec 忽略了单词在不同上下文中的含义，因此对于多义词（例如，“left”在不同语境中有不同含义）只学习了一个表示。

  2. Self-attention：

    • Self-attention 是一种用于序列数据的机制，特别在 Transformer，BERT, GPT模型中广泛应用。
    • 它允许模型根据输入序列的上下文动态调整不同元素的影响。
    • Self-attention 考虑了每个输入元素与其他元素之间的关联度，从而生成不同的表示。
    • 在自然语言处理中，Self-attention 可以根据单词在句子中的上下文生成不同的表示（contextual embedding），解决了多义词的问题。

总之，Word2Vec 是一种全局的词嵌入方法，而Self-attention 允许根据上下文动态生成不同的表示，更适合处理多义词和序列数据。

星辰漫步之LLM
关注
专栏目录
Word2vec vs Bert 系列技术要点
weixin_45123595的博客
08-25 3121
Word2vec vs Bert 系列技术要点 文章目录Word2vec vs Bert 系列技术要点Word2vec内容回顾Seq2Seq模型的注意力(Attention)机制Attention机制Transformer原理BERT原理**Bert的提升与进步**（对比） Word2vec内容回顾 目的 将词转化为向量有助于机器理解 更容易计算词语和词语之间的距离，表此词语之间的关系 类比 比如说词向量之间的距离可以用下面的形式表示出来：King － man + woman ≈ queen 引入
学习笔记-----Self-Attention自注意力机制
whhzb的博客
07-07 222
当d变得很大时，中的元素的方差也会变得很大，如果中的元素方差很大，那么的分布会趋于陡峭（分布方差大，分布集中在绝对值大的区域）。是一个矩阵乘以它的转置，矩阵本身的运算是第一行乘第一列，第一行乘第二列......,第二行乘第一列，第二行乘第二列......，......。因此，一个矩阵乘以它的转置矩阵时，转置后的第一列就是转置前的第一行，这就是在计算第一个向量与自己的。Softmax之后，这些数字的和为1，attention的核心机制就是。的一个列向量相乘，得到一个新的行向量，且这个行向量与x的维度相同。
关于RestNet,Word2Vec,Attention的简要概述
funny_n_lucky的博客
10-08 336
谷歌论文《Attention is all you need》一文中，摒弃了传统CNN,RNN，直接训练序列化数据。关于此论文，网上很多解说，不一一赘述。 关于Word2Vec,可以看作是无监督的嵌入方法，将one-hot转成embedding vector。如：X是中心词的前两个和后两个词的One Hot向量(不包含中心词，CBoW)，Y是中心词的One Hot向量，这样训练出来的隐藏层的W就...
软注意力机制和硬注意力机制，以及seq2seq
是木子啦~
11-19 8518
软注意力机制就是虽然词语权重不同，但是在训练模型的时候雨露均沾，每个词语都用到，焦点词语的全重大。硬注意力机制是从存储的多个信息中只挑出一条信息来，可能是概率最大的那个词向量,seq2seq是word2vec(词嵌入)的Encoder-Decoder框架*********************************************************************************************************************************
语言模型及Word2vec与Bert简析
沧海之巅的专栏
05-17 770
将句子的概率分解为各个单词条件概率的乘积，如果文本较长, 条件概率的估算会非常困难（维数灾难），所以就规定当前词只和它前面的n个词有关，与更前面的词无关，每一个词只基于其前面N个词计算条件概率 —— N-gram语言模型，一般N取1到3之间。词的静态表征，不能解决同义词问题，如水果中的“苹果”和苹果公司的“苹果”，词向量表示是一样的，而实际上这两词的意思完全不一样。，来作为我们每个词的向量表示（词向量），用于nlp下游任务的输入或用于NLP模型的词嵌入。单词序列：[我， 狗， 被， 了， 咬]
self-attention在图像视觉领域的发展
zhufenghao
02-09 4797
关于self-attention的基本定义，以及在自然语言处理方向的发展，参考 1、图像识别方向 Non-local Neural Networks 论文将self-attention抽象成为了一个如同卷积、循环操作类似的通用神经网络构件non-local，并主要应用于图像视频领域。non-local抽象出的主要思想是，每个位置上的响应都是通过所有位置上的特征加权求和得到的，因此它具有绝对的长程依赖特征。 对于CNN和RNN来说，卷积和循环操作只能处理局部邻域（即局部注意力），长程依赖是通过增加网络深度从而
论文笔记：A Gated Self-attention Memory Network for Answer Selection
u011150266的博客
05-18 805
作者：陈宇飞 单位：燕山大学 论文地址：https://www.aclweb.org/anthology/D19-1610/ 论文代码：https://github.com/laituan245/StackExchangeQA 目录一、研究问题二、解决思路三、模型设计3.1 The gated self-attention mechanism3.2 Combining with the memory network3.3 GSAMN for answer selection3.4 Transfer L.
文本挖掘中的机器学习算法：TF-IDF、Word2Vec与BERT的深入比较
# 1. 文本挖掘与机器学习算法概述 在当今的数据驱动时代，文本挖掘...本章将从基础开始，概述文本挖掘的流程和常用机器学习算法，为后续章节中对特定算法如TF-IDF、Word2Vec和BERT的深入探讨奠定基础。我们将重点介
Bert由来之--word2vec和transformer
fangting的博客
01-08 4609
word2vec -> Transformer -> ELMo -> Bert word2vec是训练词向量。有skim-gram和CBOW两种形式。 重点：训练样本是一个句子的中心词和周围的词拼接成。 例如skim-gram例如 I love apple very much。以apple 为中心词，窗口大小是2，则可以凑出样本：【apple，love】【apple，I】【app...
Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism论文笔记
kawhi849
09-09 1905
之前毕设是做微博NER的，无意之中翻到了这篇论文，个人感觉这篇文章还是比较有价值的，在此简单介绍一下。 论文链接：https://www.aclweb.org/anthology/D18-1017（ACL2018） code：https://github.com/CPF-NLPR/AT4ChineseNER 核心思想 这篇文章做的最核心的事情就是标题中提到的这几个事儿： Adver...
全网最通俗易懂的 Self-Attention自注意力机制 讲解
大脸猫的博客
10-04 6万+
前言 因工作需要，不得不再次将Transformer从尘封的记忆中取出。 半年前学Transformer的时候只觉得模型好复杂，步骤好复杂，论文读完，想了好几天，感觉还是没有完全搞明白，仅仅是记住了一些专有名词，除了用于吹牛逼其余一无是处，因为内部的机理完全不明白，所以这些名词啊、公式啊转眼就忘。 Self-attention是Transformer最核心的思想，这两天重新阅读了论文，有了一些新的感想，便急忙将其记下，与朋友们共勉。 博主刚开始接触self-attention时，最不理解的地方就是Q
[LLM] 自然语言处理 --- Self-Attention(二) 动画与代码演示
摩登都市天空---专栏
04-20 832
一 Self Attention Self Attention也经常被称为intra Attention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新的机器翻译模型内部大量采用了Self Attention模型。 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source
PyTorch深度学习（23）Transformer及网络结构ViT
JYliangliang的博客
04-02 2125
一、Transformer 二、ViT网络
学习总结——注意力机制(transformer、DETR)
summer_xm的博客
04-05 1067
将Ci送入softmax函数中，得到概率Pi，将Pi与Vi相乘再相加得到VT，这个VT是Query的Value，这样就将数据库中的不同答案Value赋予了不同的权重，与数据库中问题Key相似度越高，其答案的重要程度越高，更可能是新问题Query对应的答案。我们知道图片可以通过提取特征进行分类、目标检测等后续操作，拿最简单的图片分类来说，可以将图片分类成猫、狗等，但图片中可能含有背景或者其他杂物，也就是说，不是所有的像素点都对识别出目标物有用，那图片中的哪些像素点是对于识别出目标物是重要的呢？
word2vec和word embedding有什么区别?
ynlyxy的博客
07-20 402
https://blog.csdn.net/scythe666/article/details/78831268
计算机视觉技术self-attention最新进展
SIGAI_CSDN的博客
09-12 1万+
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 Attention注意力，起源于Human visual system（HVS），个人定义的话，应该类似于 外界给一个刺激Stimuli，然后HVS会第一时间产生对应的 saliency map，注意力对应的应该就是...
transformer 模型（self-attention自注意力）
热门推荐
ChihkAnchor的博客
01-08 7万+
transformer模型在《Attention is all you need》论文中提出 这篇论文主要亮点在于：1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。2）提出了多头注意力（Multi-headed attention）机制方法，在编码器和解码器中大量的使用了多头自注意力机制（Multi-headed s...
大模型微调 - 基于预训练大语言模型的对话生成任务 训练代码
最新发布
flyfish
09-12 433
flyfish
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值