DW李宏毅机器学习Task6

Self-Supervised Learning自监督学习

从芝麻街的人物引入自监督学习的相关概念方法。ELMo、BERT、ERNIE、Big Bird

BERT是非常复杂的模型，包含340million个参数。模型变得越来越复杂，参数越来越多。

自监督学习介绍

有监督和自监督学习的区别：
有监督学习数据中包含标签，自监督学习数据中不包含标签，是无监督学习的一种。

BERT series

BERT是Transformer Encoder,，最早用在自然语言处理中，也可以用在语音等问题中。
Masking：Bert输入文字，把输入的文字以token（自己决定）为单位随机地盖住（Randomly masking some tokens）。此处的盖住有两种含义：（1）将随机选择盖住的token替换成特殊的字（special token）；（2）将随机选择盖住的token随机替换成另一个字。然后，将盖住的token对应输出的向量做linear transform，即将输出的向量乘以一个矩阵，再做softmax输出一个分布，该分布是所有输入的token的概率分布律。并且最小化这个概率分布与被盖住的token的cross entropy（交叉熵）。（类似于一个分类问题的处理）

Next Sentence Prediction：在整个sequence最前面有[CLS]，表示。在两个sentence中间有[SEP]符号，以说明是两个sentence。

将[CLS]经过transformer encoder输出向量，再进行linear transform，得到二分类结果Yes/No。输出Yes表示sentence1和sentence2是相连接的，输出No表示是不相连接的。但是这一理论，被证明不太有用。
后来又提出Sentence order prediction（SOP），研究在句子之间是相关的前提下，具体的排列次序如何。该理论被用在ALBERT中。

Bert在downstream tasks（下游任务）中是有用的，但是这些学习过程中还是需要一部分含标签的数据。将bert进行微调以完成其他下游任务的过程被称为Fine-tune，而在这之前产生bert的过程称为Pre-train。
评价一个Bert的能力，需要在不同的任务上测试其正确率。对Bert进行评价有这样一个由多个任务组成的任务集GLUE（General Language Understanding Evaluation）：

• Corpus of Linguistic Acceptability（CoLA）
• Stanford Sentiment Treebank（SST-2）
• Microsoft Research Paraphrase Corpus（MRPC）
• Quora Question Pairs（QQP）
• Semantic Textual Similarity Benchmark（STS-B）
• Multi-Genre Natural Language Inference（MNLI）
• Question-answering NLI（QNLI）
• Recognizing Textual Entailment（RTE）
• Winograd NLI（WNLI）

How to use BERT——Case1

情感分析：sentiment analysis

Linear的部分进行通常的随机初始化，采用gradient descent来使得Loss最小，Bert部分采用pre-train训练的bert的参数进行初始化，这样比随机初始化更好。
在BERT阶段是unsupervised learning，downstream task中是supervised learning，因此是semi-supervised learning。

How to use BERT——Case2

词性标注：POS tagging

How to use BERT——Case3

自然语言推断：Natural Language Inference(NLI)

输入两个句子，输出两个句子之间的关系。

How to use BERT——Case4

问答系统：Extraction-based Question Answering(QA)


橙色向量确定起始位置，蓝色向量确定结束位置。
Bert理论上输入的长度是无限的，但是考虑计算能力，其实是有限的，对一篇长的文章往往截成多个小段进行训练。

Pre-training a seq2seq model

输入一个加入随机扰动后损坏句子，输出原本无扰动下真实的句子。损坏句子的方法很多（删除、旋转等），如MASS和BART

eg.：Transfer Text-to-Text Transformer（T5）**
为什么Bert有用?**
输入sequence，每一个token代表对应字的意思，对应输出一个向量，称为embedding。The tokens with similar meaning have similar embedding。相近意思的token输出的向量也是相近的，并且Bert会考虑上下文，解决了很多语言一词多义的问题。

word embedding中的CBOW技术和BERT的作用是一样的，但Bert是其进阶deep版，会考虑上下文，即Contextualized word embedding，而CBOW主要是采用linear transform。

将Bert应用在DNA、音乐分类等，以DNA为例。

Multi-lingual BERT，多语言的Bert

考虑到不同语言的差距

GPT series

Bert相当于做填空题，GPT相当于做预测下一个可能出现的词。

参考：
https://www.bilibili.com/video/BV1JA411c7VT?p=22&spm_id_from=pageDriver