课程九学习笔记: 自监督ViT算法:BeiT和MAE
自监督+ Transformer
1. SSL在NLP中的应用:
- Self-Supervised Learning (SSL):通过自己“监督”自己的方式学习通用特征表达,用来作为下游任务的预训练或者backbone。(自监督学习SSL:假装看不到输入的某一部分 ,然后学习怎么去预测它!)
- Bidirectional Encoder Representations from Transformers :(BERT)
(1)Transformer的Encoder
(2)Self-Supervised Learning ( SSL )
2. Bert
Bert:学习通用的表征。
Bert训练目标&