有监督学习、无监督学习、自监督学习的区别与联系

基本概念

此处的基本概念仅基于个人理解，并不十分严谨，严谨概念见补充部分。

1. 有监督学习：训练数据为feature+label，feature经过神经网络后得到prediction，prediction和label经过合适的loss function计算loss，经过多轮反向传播后使得loss达到最小值（全局最优）
2. 无监督学习：训练数据仅为feature，没有label，神经网络对数据的内在特征进行挖掘，找到样本之间的关系，完成如聚类之类的任务
3. 自监督学习：训练数据仅为feature，没有label，但是能通过设计辅助任务来从feature中提取信息创造label，之后的训练与有监督学习基本一致

区别与联系

1. 有监督学习数据为带标签数据，无监督与自监督学习数据为无标签数据
2. 无监督学习不会生成伪标签，自监督学习会根据辅助任务生成伪标签
3. 自监督学习生成伪标签后，后续的学习过程基本和有监督学习一致

补充

除有监督学习、无监督学习、自监督学习外，还有半监督学习、弱监督学习等概念

参考文献

补充部分的图片源自 https://blog.csdn.net/StupidAutofan/article/details/121784739?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169192125116800211562846%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=169192125116800211562846&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2_alltop_positive~default-2-121784739-null-null.142^v92controlT0_2&utm_term=%E8%87%AA%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0&spm=1018.2226.3001.4187