有监督、半监督、无监督、弱监督、自监督

1、有监督：用有标签的数据训练；
2、无监督：用无标签的数据训练；
3、半监督：利用数据分布上的模型假设建立学习器对未标签样例进行标签。通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这个模型对（较大规模的）无标签数据预测伪标签，作为Student模型的训练数据；
4、自监督：在无标注数据上训练，通过一些方法让模型学习到数据的inner representation，再接下游任务，例如加一个mlp作为分类器等。但接了下游任务之后还是需要在特定的有标签数据上finetune，只是有时候可以选择把前面的层完全固定，只finetune后面接的网络的参数。自监督数据监督来源于数据本身，例如通过拼图方式构造。
5、弱监督：用包含噪声的有标签数据训练。