SSL:Self-Supervised Learning(自监督学习)是什么？

点击我爱计算机视觉标星，更快获取CVML新技术

---

本文原载于知乎，已获作者授权转载，禁止二次转载。

https://zhuanlan.zhihu.com/p/108088719

Ⅰ what's SSL?

自监督学习不是特定的一种算法，而是一类算法，如word2vec，BERT，MOCO，PIRL等都属于自监督学习；

和监督式机器学习一样，自监督学习训练时也需要features和labels，不同之处在于自监督学习的label不需要通过人为标记完成，而是自动生成的；

自监督学习不针对特定应用场景，而是通用性预训练；

Ⅱ LeCun's opinion on SSL

LeCun认为对于含有一定信息的数据样本来说，纯强化学习仅仅能从一些样本中获得稍许信息，监督学习能从每个样本中获取一些信息，而自监督学习能从每个样本中获取大量信息。

针对“强化学习仅仅是蛋糕上的一颗樱桃”，强化学习社区将LeCun的蛋糕模型修订为：

Ⅲ why is SLL important?

自监督学习自定义预制任务，进行预训练学习，不针对特定场景，且能将数据样本中的信息最大程度的提取，这相当于进行“常识性”学习；

学习训练完成后，再进行特定场景的学习，相当于在已经掌握了“基本常识后”再进行“特定专业”的学习；

这样模型本身就具有相当程度的鲁棒性，也会从训练开始就避开一些过拟合“陷阱”/“低级错误”。

---

自监督学习交流群

关注最新最前沿的自监督学习技术，扫码添加CV君拉你入群，（如已为CV君其他账号好友请直接私信）

（请务必注明：自监督）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：805388940。

（不会时时在线，如果没能及时通过验证还请见谅）

---

长按关注我爱计算机视觉