监督学习、无监督学习、半监督学习、自监督学习的区别与联系

监督学习：
所有数据都有标签或真值，直接对网络输出结果和标签计算loss函数，进行训练。
缺点：标签很难获取，且提取的特征依赖于标签（即特定任务），而不是数据本身的特征

无监督学习：
所有数据都没有标签，通过Encoder-Decoder结构对输入进行编解码操作，解码输出的结果与原始输入图像对比计算loss函数，进行训练，从而使encoder部分提取出输入数据的特征，实现聚类
特点：提取出来的特征包含了重建数据的细节信息，在分类等任务中想要的却是数据的抽象特征

半监督学习
一小部分数据有标签，大部分数据没有标签
三种方式：
1、使用无标签数据进行网络预训练，再使用有标签数据进行fine-tuning
2、使用有标签数据训练出来的网络对无标签数据进行预测，选择预测结果好的加入到训练集中再次训练，如此循环，不断提升效果
3、work in semi-supervised fashion（无标签数据和有标签数据同时训练），loss函数由两部分构成：有标签数据的loss+系数*无标签数据的loss

自监督学习
通过自身生成标签进行监督训练（representation learning）
自身生成标签的方式包括：旋转、裁剪、涂色、对比学习等
然后根据下游任务进行fine-tuning

联系：
自监督学习可以认为是半监督学习的一种，因为都需要fine-tuning
而特征学习部分，半监督学习可以分为无监督学习（标签是自身）、自监督学习（标签是自己生成的）