有监督 无监督 自监督 半监督 弱监督

自己学习做笔记用的，从别人的讲解中摘抄。

有监督：用有标签的数据训练。

半监督：数据分为两部分，小部分有标签，大部分无标签。用有标签的数据训练网络，用训练后的网络对无标签的数据进行分类制作伪标签，用一个挑选原则挑选出认为标签正确的数据再对网络进行训练。

无监督：无监督学习则是没有明确目的的训练方式，你无法提前知道结果是什么，效果也很难评估。（聚类、降维、GAN）

弱监督：不完全监督（只注释一部分图像）不确切监督（对图像进行注释但对对象没有进行注释）不精确监督（错误标注）

自监督：自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。

监督学习中的 Pretrain - Finetune 流程：我们首先从大量的有标签数据上进行训练，得到预训练的模型，然后对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。

自监督的 Pretrain - Finetune 流程：首先从大量的无标签数据中通过 pretext 来训练网络（自动在数据中构造监督信息），得到预训练的模型，然后对于新的下游任务，和监督学习一样，迁移学习到的参数后微调即可。所以自监督学习的能力主要由下游任务的性能来体现。