深度视觉的挑战:
- 找到更好的模型
- 理解模型的鲁棒性(适用于对抗样本)
———————— - 希望模型训练时使用一些无标签数据
- 自监督学习
当我们采用更大的模型的时候,它的性能会更好,但是我们在面对数据倍增时,性能提升比大模型的增益更大。大模型反而更加容易over-fitting。
自监督,主要用来解决数据不足的问题。
自监督学习近几年的发展。
从20年开始爆发,Joint-embedding为主。2021年开始,22年论文发表出来Masked.autocoding的框架开始出现。
监督学习(Supervised learning)、半监督学习(Semi-supervised learning)和无监督学习(Unsupervised learning)
First survey on masked autoencoder