半监督学习与自监督学习//了解层面

为了有一个普通的了解层面，写了这篇博客来记录，整理了简单与深度的资料，方便使用。 

1.半监督学习基本思想：同时利用有标注数据和无标注数据学习

传统办法有简单自训练、协同训练、半监督字典学习、标签传播算法、半监督支持向量机等
当下用的很多的有基于深度网络的算法

Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks

让深度学习真正地成为一种半监督算法是一篇发表在 ICML 2013 的文章，是一个相当简单的让网络 work in semi-supervised fashion 的
方法。就是把网络对无标签数据的预测，作为无标签数据的标签（即 Pseudo label），用来对网络进行训练，
其思想就是一种简单自训练。但方法虽然简单，但是效果很好，比单纯用有标签数据有不少的提升。

 

---

2.自监督学习介绍//简单明了

自监督学习主要是利用辅助任务（pretext）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督
信息对网络进行训练，从而可以学习到对下游任务有价值的表征。

self-supervised learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务。

 

自监督学习介绍 - 简书 

自监督学习(Self-Supervised Learning, SSL)

从扩展性的角度看自监督学习的发展

自监督学习 - 知乎 

---

参考资料 

半监督深度学习小结//总结全面，里面有对应算法的代码

半监督深度学习小结 - 知乎

一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)

一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)_饮冰l的博客-CSDN博客