BERT

BERT

论文
代码
torch

摘要

论文提出了新的语言表示模型(language representation model)
BERT:Bidirectional Encoder Representations from Transformers
由无标注的文本，双向地训练得到，在多个下游任务fine-tune取得了很好的提升

Introduction

pre-training 有两种 ELMo的feature-based和 GPT的fine-tune，BERT使用了fine-tune 并改进了 GPT 的单向网络，使用mask ML的双向网络进行训练，为了更好地提升sentence级别的理解，加入了next sentence prediction 的任务。在多个下游任务中，相较于特定任务的模型，Bert都有明显的提升

Related Work

• Unsupervised Feature-based Approaches(like ELMo)
• Unsupervised Fine-tuning Approaches(like GPT)
• Transfer Learning from Supervised Data

BERT

BERTBASE(L=12, H=768, A=12, Total Parameters=110M)
BERTLARGE(L=24, H=1024,A=16, Total Parameters=340M)
[CLS] [SEP]

• Masked LM：
  • mask 15%
  • 80% [MASK]，10% random，10% unchange
• Next Sentence Prediction (NSP)
  • [CLS] to predict
  • 50% isNext，50% not

Experiments

• GLUE
  使用[CLS]的输出，单层分类网络，32batchsize
• SQuAD v1.1
  使用开头S和结尾E维度为H的向量与所有token的向量相乘计算分数
• SQuAD v2.0
  有多个span预测，我们用[CLS]的向量和S，E相乘得到的分数加上一个值作为阈值，大于这个阈值的位置即为答案
• SWAG
  利用[CLS]计算分数

Ablation Studies

Task

Model Size

feature-based