解读自监督学习(Self-Supervised Learning)几篇相关paper

最新推荐文章于 2024-10-21 17:40:36 发布

baidu_huihui

最新推荐文章于 2024-10-21 17:40:36 发布

阅读量978

点赞数

分类专栏：自监督学习

本文链接：https://blog.csdn.net/baidu_41617231/article/details/106913898

版权

本文深入解读了几篇关于自监督学习的论文，探讨了自监督学习如何通过构造预训练任务，如图片相对位置预测和旋转角度预测，来提升模型的无监督学习能力。文中提出的新方法结合了数据增强和多任务学习，通过自蒸馏技术优化模型，以解决测试时间增加的问题。同时，文章分析了不同网络结构和self-supervised任务的组合对性能的影响，并介绍了Google Brain团队的两篇研究，强调了学习率和超参数调节的重要性。

摘要由CSDN通过智能技术生成

解读自监督学习(Self-Supervised Learning)几篇相关paper

Supervised deep learning由于需要大量标注信息，同时之前大量的研究已经解决了许多问题。所以近期大家的研究关注点逐渐转向了Unsupervised learning，许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作。

这里主要关注Unsupervised learning一类特定的方法：Self-supervised learning（自监督学习）。自监督学习的思想非常简单，就是输入的是一堆无监督的数据，但是通过数据本身的结构或者特性，人为构造标签（pretext）出来。有了标签之后，就可以类似监督学习一样进行训练。比较知名的工作有两个，一个是：Unsupervised Visual Representation Learning by Context Prediction (ICCV15)，如图一，人为构造图片Patch相对位置预测任务，这篇论文可以看作是self-supervised这一系列方法的最早期paper之一；另一

最低0.47元/天解锁文章