task 10 BERT

Attention模型

1、Scaled attention

输入包括维度为dkdk的queries以及keys，还有维度为dvdv的values。计算query和所有keys的点乘，然后每个都除以dk−−√dk（这个操作就是所谓的Scaled），之后利用一个softmax函数来获取values的权重。实际操作中，attention函数是在一些列queries上同时进行的，将这些queries并在一起形成一个矩阵QQ同时keys以及values也并在一起形成了矩阵KK以及VV。attention的输出矩阵公式：

2、Multi-Head Attention

Attention并不是简简单单将一个点乘的attention应用进去。作者发现先对queries，keys以及values进行hh次不同的线性映射效果特别好。学习到的线性映射分别映射到dkdk，dkdk以及dvdv维。分别对每一个映射之后的得到的queries，keys以及values进行attention函数的并行操作，生成dvdv维的output值。具体结构和公式如下：

 

Transformer

前言：谷歌在2017年发表了一篇论文名字教Attention Is All You Need，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。传统的神经机器翻译大都是利用RNN或者CNN来作为encoder-decoder的模型基础，而谷歌最新的只基于Attention的Transformer模型摒弃了固有的定式，并没有用任何CNN或者RNN的结构。该模型可以高度并行地工作，所以在提升翻译性能的同时训练速度也特别快。

Transformer模型结构：

1、模型分为编码器和解码器两个部分。

a、编码器由6个相同的层堆叠在一起，每一层又有两个支层。第一个支层是一个多头的自注意机制，第二个支层是一个简单的全连接前馈网络。在两个支层外面都添加了一个residual的连接，然后进行了layer nomalization的操作。模型所有的支层以及embedding层的输出维度都是dmodeldmodel。

b、解码器也是堆叠了六个相同的层。不过每层除了编码器中那两个支层，解码器还加入了第三个支层，如图中所示同样也用了residual以及layer normalization。具体的细节后面再讲。

2、编码器和解码器的输入就是利用学习好的embeddings将tokens（一般应该是词或者字符）转化为d维向量。对解码器来说，利用线性变换以及softmax函数将解码的输出转化为一个预测下一个token的概率。

3、由于模型没有任何循环或者卷积，为了使用序列的顺序信息，需要将tokens的相对以及绝对位置信息注入到模型中去。论文在输入embeddings的基础上加了一个“位置编码”。位置编码和embeddings由同样的维度都是dmodeldmodel所以两者可以直接相加。有很多位置编码的选择，既有学习到的也有固定不变的。

Transformer构架的核心思想： 计算一句话中每个词对于这句话中其它所有词的相互关系， 然后认为这些词与词之间的相互关系 在一定程度上反应了这句话中不同词之间的关联性以及它们的重要程度。 再利用这些相互关系来调整每个词的重要性（权重）就可以获得每个词新的表达。 这个新的表征不但蕴含了该词本身，还蕴含了其他词与这个词的关系， 因此和单纯的词向量相比是一个更加全局的表达。 在翻译的应用中就可以用这个整体的关系去衡量另一种语言。

Transformer以三种不同的方式使用了多头attention。

1、在encoder-decoder的attention层，queries来自于之前的decoder层，而keys和values都来自于encoder的输出。这个类似于很多已经提出的seq2seq模型所使用的attention机制。

2、在encoder含有self-attention层。在一个self-attention层中，所有的keys,values以及queries都来自于同一个地方，本例中即encoder之前一层的的输出。

3、类似的，decoder中的self-attention层也是一样。不同的是在scaled点乘attention操作中加了一个mask的操作，这个操作是保证softmax操作之后不会将非法的values连到attention中。

BERT

原理：

BERT模型的全称是Bidirectional Encoder Representations from Transformers，它是一种新型的语言模型。之所以说是一种新型的语言模型，是因为它通过联合调节所有层中的双向Transformer来训练预训练深度双向表示。

想深入了解BERT模型，首先应该理解语言模型。预训练的语言模型对于众多自然语言处理问题起到了重要作用，比如SQuAD问答任务、命名实体识别以及情感识别。目前将预训练的语言模型应用到NLP任务主要有两种策略，一种是基于特征的语言模型，如ELMo模型；另一种是基于微调的语言模型，如OpenAI GPT。这两类语言模型各有其优缺点，而BERT的出现，似乎融合了它们所有的优点，因此才可以在诸多后续特定任务上取得最优的效果。

模型：

BERT是一种基于微调的多层双向Transformer编码器，其中的Transformer与原始的Transformer是相同的，并且实现了两个版本的BERT模型，在两个版本中前馈大小都设置为4层：

lBERTBASE：L=12，H=768，A=12，Total Parameters=110M

lBERTLARGE：L=24，H=1024，A=16，Total Parameters=340M

其中层数（即Transformer blocks块）表示为L，隐藏大小表示为H，自注意力的数量为A。

模型输入：输入表示可以在一个词序列中表示单个文本句或一对文本(例如，[问题，答案])。对于给定的词，其输入表示是可以通过三部分Embedding求和组成。Embedding的可视化表示如下图所示：

 

a、token Embeddings表示的是词向量，第一个单词是CLS标志，可以用于之后的分类任务，对于非分类任务，可以忽略词向量；

b、Segment Embeddings用来区别两种句子，因为预训练不只做语言模型还要做以两个句子为输入的分类任务；

c、Position Embeddings是通过模型学习得到的。

文本分类代码：

from bert.extrac_feature

import BertVector

bv = BertVector()

bv.encode(['今天天气不错'])

from similarity import BertSim

import tensorflow as tf

bs = BertSim()

bs.set_mode(tf.estimator.ModeKeys.TRAIN)

bs.train()

from similarity import BertSim

import tensorflow as tf

bs = BertSim()

bs.set_mode(tf.estimator.ModeKeys.EVAL)

bs.eval()

from similarity import BertSim

import tensorflow as tf

bs = BertSim()

bs.set_mode(tf.estimator.ModeKeys.PREDICT)

bs.test

参考:https://github.com/terrifyzhao/bert-utils