深度学习-模型-Seq2Seq、Attention、Transformer、BERT

最新推荐文章于 2024-04-29 15:39:41 发布
最新推荐文章于 2024-04-29 15:39:41 发布
阅读量1.9k 收藏 25
点赞数 3
分类专栏： # 深度学习
原文链接：https://blog.csdn.net/jiaowoshouzi/article/details/89073944
版权

1 Seq2Seq

Seq2Seq模型分为encoder层与decoder层，并均由RNN或RNN的变体构成


在encode阶段，第一个节点输入一个词，之后的节点输入的是下一个词与前一个节点的hidden state，最终encoder会输出一个context，这个context又作为decoder的输入，每经过一个decoder的节点就输出一个翻译后的词，并把decoder的hidden state作为下一层的输入。该模型对于短文本的翻译来说效果很好，但是其也存在一定的缺点，如果文本稍长一些，就很容易丢失文本的一些信息，为了解决这个问题，Attention应运而生。

2 Attention

Attention模型在decode阶段，会选择最适合当前节点的context作为输入。
Attention与传统的Seq2Seq模型主要有以下两点不同：

  •  encoder提供了更多的数据给到decoder，encoder会把所有的节点的hidden state提供给decoder，而不仅仅只是encoder最后一个节点的hidden state。

  •  decoder并不是直接把所有encoder提供的hidden state作为输入，而是采取一种选择机制，把最符合当前位置的hidden state选出来，步骤如下
  1. 确定哪一个hidden state与当前节点关系最为密切
  2. 计算每一个hidden state的分数值（具体怎么计算我们下文讲解）
  3. 对每个分数值做一个softmax的计算，这能让相关性高的hidden state的分数值更大，相关性低的hidden state的分数值更低

下面以一个具体的例子解释详细计算步骤：

 

  1.  把每一个encoder节点的hidden states的值与decoder当前节点的上一个节点的hidden state相乘（如上图，h1、h2、h3分别与当前节点的上一节点的hidden state进行相乘，如果是第一个decoder节点，需要随机初始化一个hidden state）；
  2.  最后会获得三个值，这三个值就是上文提到的hidden state的分数（这个数值对于每一个encoder的节点来说是不一样的）；
  3.  把该分数值进行softmax计算，计算之后的值就是每一个encoder节点的hidden states对于当前节点的权重；
  4.  把权重与原hidden states相乘并相加，得到的结果即是当前节点的hidden state（Atttention的关键就是计算这个分值）。

明白每一个节点是怎么获取hidden state之后，接下来就是decoder层的工作原理了，其具体过程如下：

  1.  第一个decoder的节点初始化一个向量，并计算当前节点的hidden state；
  2.  把该hidden state作为第一个节点的输入，经过RNN节点后得到一个新的hidden state与输出值。

注意，这里和Seq2Seq有一个很大的区别，Seq2Seq是直接把输出值作为当前节点的输出，但是Attention会把该值与hidden state做一个连接，并把连接好的值作为context，并送入一个前馈神经网络，最终当前节点的输出内容由该网络决定.
重复以上步骤，直到所有decoder的节点都输出相应内容。


Attention模型并不只是盲目地将输出的第一个单词与输入的第一个词对齐。实际上，它在训练阶段学习了如何在该语言对中对齐单词(示例中是法语和英语)。
Attention函数的本质可以被描述为一个查询（query）到一系列（键key-值value）对的映射。


在计算attention时主要分为三步：

  1.  将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；
  2.  使用一个softmax函数对这些权重进行归一化；
  3.  将权重和相应的键值value进行加权求和得到最后的attention。

目前在NLP研究中，key和value常常都是同一个，即key=value。
 

3 Transformer

Transformer模型和Attention模型一样，采用了 encoder-decoder 架构。但其结构相比于Attention更加复杂；
encoder层由6个encoder堆叠在一起，decoder层也一样。


每一个encoder和decoder的内部简版结构如下图


对于encoder，包含两层：
一个self-attention层和一个前馈神经网络，self-attention能帮助当前节点不仅仅只关注当前的词，从而能获取到上下文的语义。
decoder也包含encoder提到的两层网络，但是在这两层中间还有一层attention层，帮助当前节点获取到当前需要关注的重点内容。

模型需要对输入的数据进行一个embedding操作，（也可以理解为类似word2vec的操作），embedding结束之后，输入到encoder层，self-attention处理完数据后把数据送给前馈神经网络，前馈神经网络的计算可以并行，得到的输出会输入到下一个encoder。


3.1 Self-Attention

self-attention，其思想和attention类似，但是self-attention是Transformer用来将其他相关单词的“理解”转换成我们正常理解的单词的一种思路，我们看个例子：
The animal didn't cross the street because it was too tired
这里的it到底代表的是animal还是street呢，对于我们来说能很简单的判断出来，但是对于机器来说，是很难判断的，self-attention就能够让机器把it和animal联系起来!


详细的处理过程：

  1. 首先，self-attention会计算出三个新的向量，在论文中，向量的维度是512维，我们把这三个向量分别称为Query、Key、Value，这三个向量是用embedding向量与一个矩阵相乘得到的结果，这个矩阵是随机初始化的，维度为（64，512）注意第二个维度需要和embedding的维度一样，其值在BP的过程中会一直进行更新，得到的这三个向量的维度是64低于embedding维度的。

     

  2. 计算self-attention的分数值，该分数值决定了当我们在某个位置encode一个词时，对输入句子的其他部分的关注程度。这个分数值的计算方法是Query与Key做点乘，以下图为例，首先我们需要针对Thinking这个词，计算出其他词对于该词的一个分数值，首先是针对于自己本身即q1·k1，然后是针对于第二个词即q1·k2

     

  3.  接下来，把点成的结果除以一个常数，这里我们除以8，这个值一般是采用上文提到的矩阵的第一个维度的开方即64的开方8，当然也可以选择其他的值，然后把得到的结果做一个softmax的计算。得到的结果即是每个词对于当前位置的词的相关性大小，当然，当前位置的词相关性肯定会会很大

     

  4. 下一步就是把Value和softmax得到的值进行相乘，并相加，得到的结果即是self-attetion在当前节点的值。

     

在实际的应用场景，为了提高计算速度，我们采用的是矩阵的方式，直接计算出Query, Key, Value的矩阵，然后把embedding的值与三个矩阵直接相乘，把得到的新矩阵Q与K相乘，乘以一个常数，做softmax操作，最后乘上V矩阵

 


这种通过 query 和 key 的相似性程度来确定 value 的权重分布的方法被称为scaled dot-product attention。其实scaled dot-Product attention就是我们常用的使用点积进行相似度计算的attention，只是多除了一个（为K的维度）起到调节作用，使得内积不至于太大。


3.2 Multi-Headed Attention

Multi-Headed Attention初始化多组Q、K、V的矩阵，tranformer使用了8组，所以最后得到的结果是8个矩阵。


 

我们把8个矩阵连在一起，这样会得到一个大的矩阵，再随机初始化一个矩阵和这个组合好的矩阵相乘，最后得到一个最终的矩阵。


下面是总体流程：
Query，Key，Value首先进过一个线性变换，然后输入到放缩点积attention（注意这里要做h次，其实也就是所谓的多头，每一次算一个头，而且每次Q，K，V进行线性变换的参数W是不一样的），然后将h次的放缩点积attention结果进行拼接，再进行一次线性变换得到的值作为多头attention的结果。


模型中attention的使用（如下图）：
首先在编码器到解码器的地方使用了多头attention进行连接，K，V，Q分别是编码器的层输出（这里K=V）和解码器中多头attention的输入。其实就和主流的机器翻译模型中的attention一样，利用解码器和编码器attention来进行翻译对齐。然后在编码器和解码器中都使用了多头自注意力self-attention来学习文本的表示。
Self-attention即K=V=Q，例如输入一个句子，那么里面的每个词都要和该句子中的所有词进行attention计算。目的是学习句子内部的词依赖关系，捕获句子的内部结构。


对于使用自注意力机制的原因，论文中提到主要从三个方面考虑（每一层的复杂度，是否可以并行，长距离依赖学习），并给出了和RNN，CNN计算复杂度的比较。可以看到，如果输入序列n小于表示维度d的话，每一层的时间复杂度self-attention是比较有优势的。当n比较大时，作者也给出了一种解决方案self-attention（restricted）即每个词不是和所有词计算attention，而是只与限制的r个词去计算attention。在并行方面，多头attention和CNN一样不依赖于前一时刻的计算，可以很好的并行，优于RNN。在长距离依赖上，由于self-attention是每个词和所有词都要计算attention，所以不管他们中间有多长距离，最大的路径长度也都只是1。可以捕获长距离依赖关系。

现在我们已经接触了attention的header，让我们重新审视我们之前的例子，看看例句中的“it”这个单词在不同的attention header情况下会有怎样不同的关注点（这里不同颜色代表attention不同头的结果，颜色越深attention值越大）。
https://img-blog.csdnimg.cn/20200804214009170.png


当我们对“it”这个词进行编码时，一个注意力的焦点主要集中在“animal”上，而另一个注意力集中在“tired”（两个heads，上图）
但是，如果我们将所有注意力添加到图片中，可能有点难理解（下图）：


3.3 Positional Encoding

到目前为止，transformer模型中还缺少一种解释输入序列中单词顺序的方法。为了处理这个问题，transformer给encoder层和decoder层的输入添加了一个额外的向量Positional Encoding，维度和embedding的维度一样，这个向量采用了一种很独特的方法来让模型学习到这个值，这个向量能决定当前词的位置，或者说在一个句子中不同的词之间的距离。这个位置向量的具体计算方法有很多种，论文中的计算方法如下
{\color{Blue} PE_{2i}(p)=sin(p/10000^{2i/d_{pos}})}{\color{Red} \qquad \emph{(1)}}
{\color{Blue} PE_{2i+1}(p)=cos(p/10000^{2i/d_{pos}})}{\color{Red} \qquad \emph{(2)}}
其中{\color{Blue} pos}是指当前词在句子中的位置，{\color{Blue} i}是指向量中每个值的index
可以看出，在偶数位置，使用正弦编码，在奇数位置，使用余弦编码。最后把这个Positional Encoding与embedding的值相加，作为输入送到下一层。


如果我们的嵌入维度为4，那么实际上的位置编码就如下图所示：


那么生成位置向量需要遵循怎样的规则呢？

观察下面的图形，每一行都代表着对一个矢量的位置编码。因此第一行就是我们输入序列中第一个字的嵌入向量，每行都包含512个值，每个值介于1和-1之间。我们用颜色来表示1，-1之间的值，这样方便可视化的方式表现出来：


这是一个20个字（行）的（512）列位置编码示例。你会发现它咋中心位置被分为了2半，这是因为左半部分的值是一由一个正弦函数生成的，而右半部分是由另一个函数（余弦）生成。然后将它们连接起来形成每个位置编码矢量。

3.4 Layer normalization

在transformer中，每一个子层（self-attetion，ffnn）之后都会接一个残差模块，并且有一个Layer normalization


在进一步探索其内部计算方式，我们可以将上面图层可视化为下图：


Normalization有很多种，但是它们都有一个共同的目的，那就是把输入转化成均值为0方差为1的数据。我们在把数据送入激活函数之前进行normalization（归一化），因为我们不希望输入数据落在激活函数的饱和区。

说到 normalization，那就肯定得提到 Batch Normalization。BN的主要思想就是：在每一层的每一批数据上进行归一化。我们可能会对输入数据进行归一化，但是经过该网络层的作用后，我们的数据已经不再是归一化的了。随着这种情况的发展，数据的偏差越来越大，我的反向传播需要考虑到这些大的偏差，这就迫使我们只能使用较小的学习率来防止梯度消失或者梯度爆炸。

BN的具体做法就是对每一小批数据，在批这个方向上做归一化。如下图所示：


可以看到，右半边求均值是沿着数据 batch_size的方向进行的，其计算公式如下：
{\color{Blue} BN(x_i)=\alpha×\frac{x_i-\mu_B}{\sqrt{\sigma_B^2+\epsilon}}+\beta}{\color{Red} \qquad \emph{(3)}}

那么什么是 Layer normalization 呢？它也是归一化数据的一种方式，不过 LN 是在每一个样本上计算均值和方差，而不是BN那种在批方向计算均值和方差！


下面看一下 LN 的公式：
{\color{Blue} LN(x_i)=\alpha×\frac{x_i-\mu_L}{\sqrt{\sigma_L^2+\epsilon}}+\beta}{\color{Red} \qquad \emph{(4)}}

到这里为止就是全部encoders的内容了，如果把两个encoders叠加在一起就是这样的结构，在self-attention需要强调的最后一点是其采用了残差网络中的short-cut结构，目的是解决深度学习中的退化问题。


3.5 Decoder层


上图是transformer的一个详细结构，相比本文一开始，结束的结构图会更详细些，接下来，我们会按照这个结构图讲解下decoder部分。

可以看到decoder部分其实和encoder部分大同小异，不过在最下面额外多了一个masked mutil-head attetion，这里的mask也是transformer一个很关键的技术，我们一起来看一下。

3.6 Mask

mask 表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。Transformer 模型里面涉及两种 mask，分别是 padding mask和 sequence mask。

其中，padding mask 在所有的 scaled dot-product attention 里面都需要用到，而 sequence mask 只有在 decoder 的 self-attention 里面用到。

3.6.1 Padding Mask

什么是 padding mask 呢？因为每个批次输入序列长度是不一样的也就是说，我们要对输入序列进行对齐。具体来说，就是给在较短的序列后面填充 0。但是如果输入的序列太长，则是截取左边的内容，把多余的直接舍弃。因为这些填充的位置，其实是没什么意义的，所以我们的attention机制不应该把注意力放在这些位置上，所以我们需要进行一些处理。

具体的做法是，把这些位置的值加上一个非常大的负数(负无穷)，这样的话，经过 softmax，这些位置的概率就会接近0！

而我们的 padding mask 实际上是一个张量，每个值都是一个Boolean，值为 false 的地方就是我们要进行处理的地方。

3.6.2 Sequence mask

文章前面也提到，sequence mask 是为了使得 decoder 不能看见未来的信息。也就是对于一个序列，在 time_step 为 t 的时刻，我们的解码输出应该只能依赖于 t 时刻之前的输出，而不能依赖 t 之后的输出。因此我们需要想一个办法，把 t 之后的信息给隐藏起来。

那么具体怎么做呢？也很简单：产生一个上三角矩阵，上三角的值全为0。把这个矩阵作用在每一个序列上，就可以达到我们的目的。

  • 对于 decoder 的 self-attention，里面使用到的 scaled dot-product attention，同时需要padding mask 和 sequence mask 作为 attn_mask，具体实现就是两个mask相加作为attn_mask。
  • 其他情况，attn_mask 一律等于 padding mask。

编码器通过处理输入序列启动。然后将顶部编码器的输出转换为一组注意向量k和v。每个解码器将在其“encoder-decoder attention”层中使用这些注意向量，这有助于解码器将注意力集中在输入序列中的适当位置：

完成编码阶段后，我们开始解码阶段。解码阶段的每个步骤从输出序列（本例中为英语翻译句）输出一个元素。
以下步骤重复此过程，一直到达到表示解码器已完成输出的符号。每一步的输出在下一个时间步被送入底部解码器，解码器像就像我们对编码器输入所做操作那样，我们将位置编码嵌入并添加到这些解码器输入中，以表示每个字的位置。

3.7 输出层

当decoder层全部执行完毕后，怎么把得到的向量映射为我们需要的词呢，很简单，只需要在结尾再添加一个全连接层和softmax层，假如我们的词典是1w个词，那最终softmax会输入1w个词的概率，概率值最大的对应的词就是我们最终的结果。
 

4 BERT原理详解

从创新的角度来看，bert其实并没有过多的结构方面的创新点，其和GPT一样均是采用的transformer的结构，相对于GPT来说，其是双向结构的，而GPT是单向的，如下图所示


ELMo：将上下文当作特征，但是无监督的语料和我们真实的语料还是有区别的，不一定的符合我们特定的任务，是一种双向的特征提取。

OpenAI GPT：就做了一个改进，也是通过transformer学习出来一个语言模型，不是固定的，通过任务 finetuning,用Transfomer代替ELMo的LSTM。
OpenAI GPT其实就是缺少了encoder的Transformer。当然也没了encoder与decoder之间的attention。

OpenAI GPT虽然可以进行fine-tuning,但是有些特殊任务与pretraining输入有出入，单个句子与两个句子不一致的情况，很难解决，还有就是decoder只能看到前面的信息。

bert在多方面的nlp任务变现来看效果都较好，具备较强的泛化能力，对于特定的任务只需要添加一个输出层来进行fine-tuning即可。

4.1 结构

先看下bert的内部结构，官网最开始提供了两个版本，L表示的是transformer的层数，H表示输出的维度，A表示mutil-head attention的个数
{\color{Blue} BERT_{BASE}:L=12, H=768, A=12, TotalParameters=110M}{\color{Red} \qquad \emph{(5)}}
{\color{Blue} BERT_{LARGE}:L=24, H=1024, A=16, TotalParameters=340M}{\color{Red} \qquad \emph{(6)}}

从模型的层数来说其实已经很大了，但是由于transformer的残差（residual）模块，层数并不会引起梯度消失等问题，但是并不代表层数越多效果越好，有论点认为低层偏向于语法特征学习，高层偏向于语义特征学习。

4.2 预训练模型

首先我们要了解一下什么是预训练模型
举个例子，假设我们有大量的维基百科数据，那么我们可以用这部分巨大的数据来训练一个泛化能力很强的模型，当我们需要在特定场景使用时，例如做文本相似度计算，那么，只需要简单的修改一些输出层，再用我们自己的数据进行一个增量训练，对权重进行一个轻微的调整。

预训练的好处在于在特定场景使用时不需要用大量的语料来进行训练，节约时间效率高效
bert就是这样的一个泛化能力较强的预训练模型。

4.3 BERT的预训练过程

接下来我们看看BERT的预训练过程
BERT的预训练阶段包括两个任务
一个是Masked Language Model
一个是Next Sentence Prediction。

4.3.1 Masked Language Model

MLM可以理解为完形填空，作者会随机mask每一个句子中15%的词，用其上下文来做预测，例如：my dog is hairy → my dog is [MASK]

此处将hairy进行了mask处理，然后采用非监督学习的方法预测mask位置的词是什么，但是该方法有一个问题，因为是mask15%的词，其数量已经很高了，这样就会导致某些词在fine-tuning阶段从未见过，为了解决这个问题，作者做了如下的处理：

  • 80%的时间是采用[mask]，my dog is hairy → my dog is [MASK]
  • 10%的时间是随机取一个词来代替mask的词，my dog is hairy -> my dog is apple
  • 10%的时间保持不变，my dog is hairy -> my dog is hairy

那么为啥要以一定的概率使用随机词呢？这是因为transformer要保持对每个输入token分布式的表征，否则Transformer很可能会记住这个[MASK]就是"hairy"。至于使用随机词带来的负面影响，文章中解释说,所有其他的token(即非"hairy"的token)共享15%*10% = 1.5%的概率，其影响是可以忽略不计的。Transformer全局的可视，又增加了信息的获取，但是不让模型获取全量信息。

注意：

  • 有参数dupe_factor决定数据duplicate的次数。
  • 其中，create_instance_from_document函数，是构造了一个sentence-pair的样本。对每一句，先生成[CLS]+A+[SEP]+B+[SEP]，有长（0.9）有短（0.1），再加上mask，然后做成样本类object。
  • create_masked_lm_predictions函数返回的tokens是已经被遮挡词替换之后的tokens
  • masked_lm_labels则是遮挡词对应位置真实的label。

 
4.3.2 Next Sentence Prediction

选择一些句子对A与B，其中50%的数据B是A的下一条句子，剩余50%的数据B是语料库中随机选择的，学习其中的相关性，添加这样的预训练的目的是目前很多NLP的任务比如QA和NLI都需要理解两个句子之间的关系，从而能让预训练的模型更好的适应这样的任务。

个人理解：

  • Bert先是用Mask来提高视野范围的信息获取量，增加duplicate再随机Mask，这样跟RNN类方法依次训练预测没什么区别了除了mask不同位置外；
  • 全局视野极大地降低了学习的难度，然后再用A+B/C来作为样本，这样每条样本都有50%的概率看到一半左右的噪声；
  • 但直接学习Mask A+B/C是没法学习的，因为不知道哪些是噪声，所以又加上next_sentence预测任务，与MLM同时进行训练，这样用next来辅助模型对噪声/非噪声的辨识，用MLM来完成语义的大部分的学习。

4.3.3 输入

bert的输入可以是单一的一个句子或者是句子对，实际的输入值是segment embedding与position embedding相加，具体的操作流程可参考上面的transformer讲解。

BERT的输入词向量是三个向量之和：

Token Embedding：WordPiece tokenization subword词向量。
Segment Embedding：表明这个词属于哪个句子（NSP需要两个句子）。
Position Embedding：学习出来的embedding向量。这与Transformer不同，Transformer中是预先设定好的值。


4.4 总结下BERT的主要贡献

  • 引入了Masked LM，使用双向LM做模型预训练。
  • 为预训练引入了新目标NSP，它可以学习句子与句子间的关系。
  • 进一步验证了更大的模型效果更好： 12 --> 24 层。
  • 为下游任务引入了很通用的求解框架，不再为任务做模型定制。
  • 刷新了多项NLP任务的记录，引爆了NLP无监督预训练技术。


BERT是谷歌团队糅合目前已有的NLP知识集大成者，刷新11条赛道彰显了无与伦比的实力，且极容易被用于多种NLP任务。宛若一束烟花点亮在所有NLP从业者心中。更为可贵的是谷歌选择了开源这些，让所有从业者看到了在各行各业落地的更多可能性。

4.5 BERT优点

  • Transformer Encoder因为有Self-attention机制，因此BERT自带双向功能
  • 因为双向功能以及多层Self-attention机制的影响，使得BERT必须使用Cloze版的语言模型Masked-LM来完成token级别的预训练
  • 为了获取比词更高级别的句子级别的语义表征，BERT加入了Next Sentence Prediction来和Masked-LM一起做联合训练
  • 为了适配多任务下的迁移学习，BERT设计了更通用的输入层和输出层
  • 微调成本小

4.6 BERT缺点

  • task1的随机遮挡策略略显粗犷，推荐阅读《Data Nosing As Smoothing In Neural Network Language Models》
  • [MASK]标记在实际预测中不会出现，训练时用过多[MASK]影响模型表现;
  • 每个batch只有15%的token被预测，所以BERT收敛得比left-to-right模型要慢（它们会预测每个token）
  • BERT对硬件资源的消耗巨大（大模型需要16个tpu，历时四天；更大的模型需要64个tpu，历时四天。

关于BERT最新的各领域应用推荐张俊林的Bert时代的创新（应用篇）

4.7 BERT适用场景

第一，如果NLP任务偏向在语言本身中就包含答案，而不特别依赖文本外的其它特征，往往应用Bert能够极大提升应用效果。典型的任务比如QA和阅读理解，正确答案更偏向对语言的理解程度，理解能力越强，解决得越好，不太依赖语言之外的一些判断因素，所以效果提升就特别明显。反过来说，对于某些任务，除了文本类特征外，其它特征也很关键，比如搜索的用户行为／链接分析／内容质量等也非常重要，所以Bert的优势可能就不太容易发挥出来。再比如，推荐系统也是类似的道理，Bert可能只能对于文本内容编码有帮助，其它的用户行为类特征，不太容易融入Bert中。

第二，Bert特别适合解决句子或者段落的匹配类任务。就是说，Bert特别适合用来解决判断句子关系类问题，这是相对单文本分类任务和序列标注等其它典型NLP任务来说的，很多实验结果表明了这一点。而其中的原因，我觉得很可能主要有两个，一个原因是：很可能是因为Bert在预训练阶段增加了Next Sentence Prediction任务，所以能够在预训练阶段学会一些句间关系的知识，而如果下游任务正好涉及到句间关系判断，就特别吻合Bert本身的长处，于是效果就特别明显。第二个可能的原因是：因为Self Attention机制自带句子A中单词和句子B中任意单词的Attention效果，而这种细粒度的匹配对于句子匹配类的任务尤其重要，所以Transformer的本质特性也决定了它特别适合解决这类任务。

从上面这个Bert的擅长处理句间关系类任务的特性，我们可以继续推理出以下观点：

既然预训练阶段增加了Next Sentence Prediction任务，就能对下游类似性质任务有较好促进作用，那么是否可以继续在预训练阶段加入其它的新的辅助任务？而这个辅助任务如果具备一定通用性，可能会对一类的下游任务效果有直接促进作用。这也是一个很有意思的探索方向，当然，这种方向因为要动Bert的第一个预训练阶段，所以属于NLP届土豪们的工作范畴，穷人们还是散退、旁观、鼓掌、叫好为妙。

第三，Bert的适用场景，与NLP任务对深层语义特征的需求程度有关。感觉越是需要深层语义特征的任务，越适合利用Bert来解决；而对有些NLP任务来说，浅层的特征即可解决问题，典型的浅层特征性任务比如分词，POS词性标注，NER，文本分类等任务，这种类型的任务，只需要较短的上下文，以及浅层的非语义的特征，貌似就可以较好地解决问题，所以Bert能够发挥作用的余地就不太大，有点杀鸡用牛刀，有力使不出来的感觉。

这很可能是因为Transformer层深比较深，所以可以逐层捕获不同层级不同深度的特征。于是，对于需要语义特征的问题和任务，Bert这种深度捕获各种特征的能力越容易发挥出来，而浅层的任务，比如分词／文本分类这种任务，也许传统方法就能解决得比较好，因为任务特性决定了，要解决好它，不太需要深层特征。

第四，Bert比较适合解决输入长度不太长的NLP任务，而输入比较长的任务，典型的比如文档级别的任务，Bert解决起来可能就不太好。主要原因在于：Transformer的self attention机制因为要对任意两个单词做attention计算，所以时间复杂度是n平方，n是输入的长度。如果输入长度比较长，Transformer的训练和推理速度掉得比较厉害，于是，这点约束了Bert的输入长度不能太长。所以对于输入长一些的文档级别的任务，Bert就不容易解决好。结论是：Bert更适合解决句子级别或者段落级别的NLP任务。
 

zxx_id
关注
  • 3
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【个人记录】seq2seq，transformer，BERT
qq_40008130的博客
08-15 449
【个人记录】seq2seq图形摘要 引用：seq2seq （文章讲解很细腻，根据文章总结一份图形摘要，便于理解） 虽然在tensorflow，pytorch怕平台上实现seq2seq基本功能很简单，但是还是想了解整体数据流的方向。 【简介——Wiki】 Seq2seq是用于自然语言处理的一系列机器学习方法。[1]应用领域包括机器翻译，图像描述，对话模型和文本摘要。最初由Google开发，并用于机器翻译.。 seq2seq with attention的版本： ...
pytorch实现task4——机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer
01-06
机器翻译 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。 其主要的步骤包括数据预处理、分词、建立词典、载入数据集、Encoder-decoder、seq2seq等。 注意力机制与Seq2seq模型 在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量（context vector）来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。将源序列输入信息以循环单位状态编码，然后将其传递给解码器
Deep-Time-Series-Prediction:Seq2Seq，Bert，Transformer，W​​aveNet用于时间序列预测
05-24
深度系列 用于时间序列预测的深度学习模型。 楷模 Seq2Seq /注意 WaveNet 变压器/变压器 快速开始 from deepseries . models import Wave2Wave , RNN2RNN from deepseries . train import Learner from deepseries . data import Value , create_seq2seq_data_loader , forward_split from deepseries . nn import RMSE , MSE import deepseries . functional as F import numpy as np import torch batch_size = 16 enc_len = 36 dec_len = 12 series_len = 1000
BERT模型入门系列: Attention机制入门
最新发布
2401_82469710的博客
04-29 346
Attention模型在NLP领域用的风生水起，但是一直对attention模型的基本原理不理解，看了很多别人的文章，似乎是看懂了，但实际上在真正理解起来的时候，就是没办法说出个所以然来，所以用自己的理解方式来写一篇。
pycorrector:pycorrector is a toolkit for text error correction. 文本纠错，Kenlm，Seq2Seq_Attention，BERT，MacBERT，ELECTRA，ERNIE，Transformer等模型实现，开箱即用
05-11
| 简体中文 pycorrector 中文文本纠错工具。音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。python3.6开发。 pycorrector依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。 Guide Question 中文文本纠错任务，常见错误类型包括： 谐音字词，如 配副眼睛-配副眼镜 混淆音字词，如 流浪织女-牛郎织女 字词顺序颠倒，如 伍迪艾伦-艾伦伍迪 字词补全，如 爱有天意-假如爱有天意 形似字错误，如 高梁-高粱 中文拼音全拼，如 xingfu-幸福 中文拼音缩写，如 sz-深圳 语法错误，如 想象难以-难以想象 当然，针对不同业务场景，这些问题并不一定全部存在，比如输入法中需要处理前四种，搜索引擎需要处理所有类型，语音识别后文本纠错只需要处理前两种， 其中'形似字错误'主要针对五笔或者笔画手
PaddleNLP：基于PaddlePaddle 2.0的NLP核心库和模型动物园
02-07
简体中文| 简介 PaddleNLP 2.0具有丰富的模型库，简洁易用的API与高性能的分布式训练的能力，可以为飞轮开发者提升文本建模效率，并提供基于Padddle 2.0的NLP领域最佳实践。 特性 丰富的模型库 涵盖了NLP主流应用相关的前沿模型，包括中文词向量，预训练模型，词法分析，文本分类，文本匹配，文本生成，机器翻译，通用对话，问答系统等，更多详细介绍请查看。 简洁易用的API 深度兼容飞轮2.0的高层API体系，提供可替换的文本建模模块，可大幅度减少数据处理，组网，训练互换的代码开发量，提高文本建模开发效率。 高效分散训练 通过深度优化的混合精度训练策略与舰队分布式训练API，可充
bert-multitask-learning：用于多任务学习的BERT
02-03
多任务学习专家 注意：从0.4.0开始，tf版本必须大于等于2.1。 安装 pip install bert-multitask-learning 它是什么 这个项目使用变压器（基于拥抱面部变压器）进行多模式多任务学习。 我为什么需要这个 在原始的BERT代码中，多任务学习或多GPU训练都不可行。 另外，该项目的初衷是NER，它在原始BERT代码中没有有效的脚本。 总而言之，与原始bert回购相比，此回购具有以下功能： 多模式多任务学习（重写大部分代码的主要原因）。 多GPU训练 支持序列标记（例如NER）和Encoder-Decoder Seq2Seq（带变压器解码器）。 支持哪些类型
seq2seq, 用Keras序列学习序列学习.zip
10-10
seq2seq, 用Keras序列学习序列学习 Seq2seq用Keras序列学习序列学习你刚刚找到了 Seq2Seq 。 Seq2Seq是序列学习 add-on的序列，用于 python 深度学习库 Keras 。 使用 Seq2Seq，你可以在Keras中构建和训练sequen
从seq2seq到attention再到Transformer
fengzhou_的博客
05-23 1393
seq2seq 首先我们介绍下seq2seq，它首次应用在机器翻译的seq2seq，也就是enoder-decoder架构。我们以RNN举例说明，seq2seq是将输入单词的embedding输入逐步输入encoder中，每个时刻encoder的输出取决于当前时刻的输入和上一时刻的隐状态(即上一时刻的输出)，最后的隐状态作为decoder的输入，decoder之后的输出也是取决与上一时刻的隐状态和上一时刻的输出单词的embedding，最终输出的单词是decoder输出的隐状态全联接softmax之后得到最
transformer bert seq2seq 深度学习 编码和解码的逻辑-重点
kyle1314608的博客
01-14 879
【深度学习】从seq2seq到Transformer学习记录小透明苞谷关注22019.06.23 15:03:40字数 3,520阅读 603背景 Encoder-Decoder是个非常通用的计算框架，至于Encoder和Decoder具体使用什么模型都是由研究者自己定的，常见的比如 CNN / RNN / BiRNN / GRU / LSTM / Deep LSTM 等，这里的变化组合非常多。 ...
Transformer、Attention与seq2seq model
谁谓荼苦，其甘如荠
11-22 1641
一、什么是seq2seq，以及它和Attention机制有什么关系 seq2seq是一种NLP常见的框架——这种框架不要求输入和输出序列是维度是一样的。许多NLP task的输入输出维度不统一，比如机器翻译、图像的图注生成、摘要生成、自动问答等。seq2seq框架大多包含encoder和decoder。 Attention机制只是一种思想——即，人在理解一件事物并作出判断的时候，并不是概览了整...
seq2seq bert模型训练以及预测过程讲解
小姑仔的博客
05-13 2302
最近学习了seq2seq模型的内容，发现seq2seq模型实际上训练过程和输出过程是一个分离的过程，这里我们采用解决小学生数学问题的数据例子作为一个示例，来详细地讲解seq2seq通过小学生数学问题的句子去预测对应的数学公式的过程。 具体的数据 比如数据为(‘小王要将150千克含药量20%的农药稀释成含药量5%的药水，需要加水多少千克?’) 对应的equation = “x=150*20%/5%-150”，结果ans = 450。 这里输入的过程将输入和输出的公式结合起来： [CLS]+'小王要将150千克
query纠错实战之seq2seq
mingo220的博客
01-17 1548
TODO
seq2seq、attention、self-attention、transformer、bert
qq_48566899的博客
07-21 460
首先，训练第一个任务是，随机遮挡单词，然后通过梯度下降调参，让predict与被遮挡的单词尽量接近，所以这个训练无需人工标注，训练集自动生成，模型自动训练好参数。bert是为了预训练Transformer中的encoder， bert其实就是只有编码器的transformer。本文推荐看看shusenwang在bilibili上的课程。然后，训练第二个任务是，判断两个句子是否相连接。bert想法简单效果好，但是计算量特别大。
CCL2022 中文语法纠错评测
zenRRan的博客
05-17 3591
每天给你送来NLP技术干货！中文语法纠错任务（Chinese Grammatical Error Correction，CGEC）旨在自动检测并修改中文文本中的标点、拼写、语法、语义等错误，从而获得符合原意的正确句子。近年来，中文语法纠错任务越来越受到关注，也出现了一些有潜在商业价值的应用。为了推动这项研究的发展，研究者通过专家标注以及众包等形式构建一定规模的训练和测试数...
文本智能校对大赛冠军方案！已落地应用，来自苏州大学、达摩院团队
Datawhale
09-27 810
Datawhale干货作者：章岳，苏州大学研究生，达摩院实习近期参加了2022 蜜度中文文本智能校对大赛，经过2个月的比赛，在600余名参赛者中取得了第一名的成绩，相关技术也已在钉钉文档等产品落地应用。借此机会，笔者想和大家分享下对中文文本纠错任务的一些看法。0. 团队介绍笔者所在的团队是苏州大学-阿里达摩院联队，成员包括章岳、蒋浩辰、章波、包祖贻四位，指导老师是李正华和李辰老师。团队成员拥有...
从Seq2Seq，Attention，Transformer到ELMo，BERT，GPT-2（一）
liuy9803的博客
03-01 4344
一图了解从 Seq2Seq，Attention，Transformer 到 ELMo，BERT，GPT-2 的发展过程。 一、Seq2Seq Seq2Seq全称Sequence to Sequence，结构为RNN Encoder-Decoder，Encoder将变长源序列映射为定长向量，Decoder将该向量映射回变长目标序列。论文《Learning Phrase Represen...
attention seq2seq transformer bert 学习总结 _20201107
kyle1314608的博客
01-14 675
【NLP】Attention Model（注意力模型）学习总结 </h1> <div class="clear"></div> <div class="postBody"> 　　最近一直在研究深度语义匹配算法，搭建了个模型，跑起来效果并不是很理...
从seq2seq到谷歌BERT，浅谈对Attention Mechanism的理解
weixin_39671140的博客
03-06 2909
将深度学习应用到NLP时，许多任务被转换为一个Sequence to Sequence的模型来解决，例如对话系统，机器翻译，文本自动摘要等。在seq2seq中，流行过基于RNN、LSTM及Transformer等的模型，而本文主要介绍Attention Mechanism（注意力机制）在一些模型中所起的作用。 一、RNN Encoder-Decoder RNN Encoder-Decoder模...
seq2seq+attention
07-27
Seq2Seq模型是一种用于序列到序列任务的神经网络模型，它由Encoder和Decoder两部分组成。Encoder将输入序列编码为一个固定长度的向量表示，而Decoder则根据这个向量表示生成输出序列。\[1\] 在Seq2Seq模型中，Attention机制被引入以解决长序列的信息丢失问题。Attention机制允许Decoder在生成每个输出时，根据输入序列的不同部分给予不同的注意力权重，从而更好地捕捉输入序列的相关信息。\[1\] Seq2Seq模型主要有三种实现方式：基于RNN的模型、基于CNN的模型和完全依靠Attention的模型。基于RNN的模型通常使用LSTM结构，并结合Attention机制来处理输入序列。基于CNN的模型则完全使用CNN来构建Seq2Seq模型，如FaceBook的fairseq。而完全依靠Attention的模型，如谷歌的transformer，通过自注意力机制来实现序列到序列的转换。\[2\]\[3\] 总结来说，Seq2Seq模型结合Attention机制可以有效地处理序列到序列任务，而不同的实现方式可以根据具体的应用场景选择合适的模型结构。 #### 引用[.reference_title] - *1* *2* *3* [Seq2Seq模型及Attention机制](https://blog.csdn.net/weixin_38937984/article/details/101111619)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值