Bert由来之--word2vec和transformer

最新推荐文章于 2024-08-16 13:29:44 发布
最新推荐文章于 2024-08-16 13:29:44 发布
阅读量4.6k 收藏 8
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yagreenhand/article/details/86064388
版权
本文介绍了从word2vec的skip-gram和CBOW模型到Transformer的演进过程。Transformer抛弃了CNN和RNN，采用全注意力机制，包括self-attention和Feed Forward Network。在Decoder部分，存在两个attention机制，分别处理当前翻译与已翻译内容以及当前翻译与句子语义的关系。位置编码用于引入序列信息。深入理解Transformer的工作原理，有助于更好地理解Bert等后续模型的发展。
摘要由CSDN通过智能技术生成

word2vec -> Transformer -> ELMo -> Bert

word2vec是训练词向量。有skim-gram和CBOW两种形式。

重点：训练样本是一个句子的中心词和周围的词拼接成。
例如skim-gram例如 I love apple very much。以apple 为中心词，窗口大小是2，则可以凑出样本：【apple，love】【apple，I】【apple，very】【apple，much】。样本的前一个input，后一个是output，训练一个词的v_c和U（词向量和outputvector）
CBOW是反过来的，通过周围的词来预测中心词。

Transformer是全部注意力，舍去CNN和RNN架构

例如：机器翻译
在这里插入图片描述

  • encoder的具体长相

在这里插入图片描述
self-attention得到特征向量Z，即下图中的Attention

最低0.47元/天 解锁文章
zixufang
关注
BERT基础（三）：BERT与Word2Vec、ELMO的比较与所做改进分析
杨丹的博客
11-05 7401
参考文章： Bert浅析 从Word Embedding到Bert模型——自然语言处理预训练技术发展史 简单来说，词向量模型是一个工具，可以把文字（词语/字符）转换成向量，然后我们使用这些向量来完成各种 NLP 任务。因而某种意义上，NLP 任务分成两部分：预训练产生词向量，对词向量进行操作（下游具体 NLP 任务）。 一、 Word2vec Word2Vec 模型训练出来的词向量之间具有...
【MIMIC-IV/pytorch实战】基于word2vec、transformer进行英文影像报告文本分类
weixin_46523923的博客
01-24 2914
完成这个任务的完整流程可以分以下几步数据整理word2vec构建模型 数据整理 MIMIC-IV中的文本数据在MIMIC-CXR模块中，影像报告以txt格式储存，每份报告为一个txt文件，如下 病人与报告之间通过一个cxr-study-list表相关，通过这张表我们可以获取报告对应病人的其他信息，如是否死亡、患病等情况作为标签。 这部分程序主要完成两步， 一是通过疾病筛选患者，因为都是胸片报告，因此我筛选出肺癌患者 二是提取文本，并删除所有换行符，这步主要程序可见这篇博客： python导入txt文件并删
一文彻底搞懂Bert（代码+手撕）
最新发布
Z4400840的博客
08-16 1429
在不断发展的自然语言处理（NLP）领域中，一项被称为 BERT 的突破性创新已经崭露头角，成为一场变革的推手。BERT代表双向编码器来自 Transformer 的表示，它不仅仅是机器学习术语浩瀚海洋中的又一个缩写。它代表了机器理解语言方式的转变，使它们能够理解使人类沟通丰富而有意义的复杂细微差异和上下文依赖关系。
Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
热门推荐
结构之法 算法之道
10-23 8万+
我在写上一篇博客《》时，有读者在文章下面评论道：“july大神，请问BERT的通俗理解还做吗？”，我当时给他发了张俊林老师的BERT文章，所以没太在意。直到今天早上，刷到CSDN上一篇讲BERT的文章，号称一文读懂，我读下来之后，假定我是初学者，读不懂。（这是），再比如国内张俊林老师的这篇《》，然后你会发现几乎网上关于Transformer/BERT的文章无外乎是以下这几种情况。
NNLM / word2vec / transformer / ElMo / OpenAI GPT / BERT 的前因后果
u014765410的博客
07-18 408
看了这些模型原理已经好一阵子了，今天针对这些模型的异同点 进行一下梳理，帮助大家理解 word embedding的前世今生，由于涉猎 广度 和 深度 都还有所欠缺，所以难免有错，大家选择性学习，欢迎查漏补缺。 1、NNLM -> word2vec NNLM 和 word2vec 都属于 无监督学习； NNLM 和 word2vec 的核心思想比较像，都是 通过周边词 来 预测 目标词，...
算法-论文阅读-一文读懂nlp论文含word2vec词向量transformer语言模型...
IT笔记
01-14 421
算法-transformer入门 transformer三个种类
从word2vec到bert
qq_34325086的博客
09-18 897
从word2vec到bert 这周读的是《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》这篇文章，发表于2018年，作者是Google AI language的研究人员，作者针对语言模型的学习提出了基于深度双向transformer的模型结合MLM、NSP等方法进行词向量的预训练，...
自然语言处理课设：基于TF-IDF ，Word2vec和BERT 的SQuAD问答模型python，含报告
01-18
在这个课设中，我们将探讨三种关键的NLP技术：TF-IDF，Word2vec和BERT，并应用它们在SQuAD（Stanford Question Answering Dataset）问答任务上。这个项目不仅提供了实际的编程实践，还包含了一份详细的报告，是学习...
NLP的游戏规则从此改写？从word2vec,-ELMo到BERT.rar
10-18
总结来说，word2vec开启了将词语表示为向量的先河，ELMo则通过考虑词序和上下文改进了这一概念，而BERT通过Transformer架构和双向上下文学习进一步提升了NLP模型的性能。这三个模型的连续进步表明，NLP领域正不断...
特征提取方法：One-hot、TF-IDF、Word2vec
Yuan's Blog
08-02 1622
文章目录定义计算方法TFIDFTF-IDFPython实现CountVectorizer & TdidfTransfomerTfidfVectorizer 定义 TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。TF是词频(Term Frequency)，IDF是逆文本频率指数(Inverse Document Frequency)。 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的
Python-按word2vec格式存储的BERT预训练模型
08-10
而"Python-按word2vec格式存储的BERT预训练模型"则是在Python环境中，将BERT模型的词嵌入部分以word2vec的格式进行存储和处理。 word2vec是Google在2013年提出的词向量表示方法，主要有两种模型：Continuous Bag of...
NLP入门：word2vec & self-attention & transformer & diffusion的技术演变
NCU_wander的博客
06-28 2132
这一段时间大模型的相关进展如火如荼，吸引了很多人的目光；本文从nlp领域入门的角度来总结相关的技术路线演变路线。
Transformer的前世今生 day03（Word2Vec、如何使用在下游任务中）
丿罗小黑的博客
03-18 514
前情回顾 由上一节，我们可以得到： 任何一个独热编码的词都可以通过Q矩阵得到一个词向量，而词向量有两个优点： 可以改变输入的维度（原来是很大的独热编码，但是我们经过一个Q矩阵后，维度就可以控制了） 相似词之间的词向量有了关系 但是，在NNLM（神经网络语言模型的一种）中，词向量是一个副产品，即主要目的并不是生成词向量，而是去预测下一个词是什么，所以它对预测的精度要求很高，模型就会很复杂，也就不容易去计算Q矩阵和词向量 模型图如下： 因此提出了一个专门生成词向量的神经网络语言模型----Wor
word2vec
Thinking_boy1992的博客
11-24 978
本文翻译自 本文通过word2vec的“skip-gram and CBOW模型进行深度学习，使用hierarchical softmax 或negative sampling； 训练算法最初是从C包中移植出来，https://code.google.com/archive/p/word2vec/，并且拓展了一些功能； 有一个关于gensim word2vec 的博客教程，使用GoogleN
Transformer和ELMo模型、word2vec、独热编码（one-hot编码）之间的关系
chunmiao3032的专栏
11-07 505
Transformer是一种基于自注意力（self-attention）机制的深度学习模型，它摒弃了循环神经网络（如LSTM）和卷积神经网络（如CNN），提供了一种全新的网络结构，可以并行处理序列数据。它与ELMo、Transformer的关系是，它们都试图学习词的向量表示，但Word2Vec是静态的，即每个词只有一个向量表示，不能捕捉一词多义现象。它与ELMo、word2vec和Transformer的关系是，它们都是用于表示词的方法，但相较于其他方法，独热编码无法捕捉词之间的相似性和上下文信息。
bert和word2vec/glove的区别
大龙的编程学习笔记
09-28 1268
https://www.quora.com/Are-encoder-representations-BERT-considered-embeddings/answer/Wenxiang-Jiao Of course,BERTcan be considerd as an embeddings generator. FromWord2Vec,GloVetoContext2Vec, toELMo, then toBERT, the approaches for learning embe...
文本表示(一）—— word2vec(skip-gram CBOW) glove, transformer, BERT
07-31 2520
文本离散表示 1.one-hot 简单说，就是用一个词典维度的向量来表示词语，当前词语位置为1，其余位置为0.例如vocabulary = ['胡萝卜’ ， ‘兔子’， ‘猕猴桃’]，采用三维数组表示，胡萝卜 = [1, 0, 0],兔子= [0, 1, 0],猕猴桃= [0, 0, 1] 维度太大 2.词袋模型与TF-IDF 词袋模型：将字符串视为一个“装满字符（词）的袋子”，袋子里的词语是随便摆放的。而两个词袋子的相似程度就以它们重合的词及其相关分布进行判断 优点：简单...
wordvect嵌入和bert嵌入的区别
金石软件
04-03 1354
这里，Word2Vec 通过简单的神经网络训练得到词向量，而 BERT 是一个预训练的深度双向 Transformer 模型，在给定任务的基础上进行微调以获得更好的嵌入表示。Word2Vec 产生的向量通常具有相似含义的单词在空间中彼此靠近，而 BERT 的嵌入则更具有上下文感知性，可以更好地捕捉句子中的语义和语境。
word2vec和bert区别
05-12
Word2Vec和BERT都是自然语言处理中广泛使用的模型，但它们的作用和实现方式有很大的不同。 Word2Vec是一种用于将单词嵌入到低维空间中的模型，它可以将单词表示为连续的向量，这些向量可以被用来进行文本分类、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值