李宏毅深度学习自监督式学习

一、Self-supervised Learning

在没有标注的资料里面，将其分成输入部分和有label的部分

1、BERT模型

输入一排向量输出一排向量，输入多长输出多长（一般用于自然语言处理）

• 输入的文字随机遮盖；
• 用bert输出被盖住的类别
  另一个例子：
  
• 给bert一点有标注的资料可以进行更多的人任务
  

2、怎样使用BERT

（1）例1 句子是正面的还是负面的

• 需要有标注的资料
• 是一种半监督式的方法
  （2）例二 词性标注
  
  （3）例三 输入两个句子输出一个类别
  
• 比如丢进去一篇文章和某一个评论进模型，然后输出是这个评论是赞成还是反对还是对这篇文章持中性态度
  
  （4）例四 问答系统
  前提答案在文章里面
  
  
  （5）pre-training a seq2seq model
  
• 怎么弄坏输入呢
  

3、为什么BERT工作？

bert输出的向量代表那个字的意思
举例：

• 计算两个果的相似性
  
• bert从上下文抽取资讯
  

4、GPT

• 预测下一个token（可以做generation)
  
  (1)怎么使用GPT？
• 用GPT做翻译