读后感 - Self-training with Noisy Student improves ImageNet classification

最新推荐文章于 2022-05-28 21:08:03 发布
最新推荐文章于 2022-05-28 21:08:03 发布
阅读量506 收藏
点赞数
分类专栏： Research paper | 论文读后感 Computer Vision | 计算机视觉 文章标签： 机器学习 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gao_lingyun/article/details/105305136
版权

  • 论文链接
    https://arxiv.org/pdf/1911.04252v2.pdf

  • 我学到的思想
    初始训练一个教师模型，用来给未标注的图片生成伪标注。用这些伪标注的图片，加上有标注的图片同时训练一个学生模型。通过给学生模型添加噪声使得学生模型优于教师模型，有更好的泛化能力，再用学生模型替代教师模型，以此迭代。

  • 小细节

  1. 学生模型至少和教师模型一样复杂
  2. 用RandAugment进行数据增强，用dropout和stochastic depth给模型添加噪声
  3. 在平衡伪标注数据类别的时候，过采样数据少的类别，对于数据多的类别，保留教师模型标注下来置信度最高的数据
高高高高高
关注
专栏目录
Self-training with Noisy Student improves ImageNet classification阅读笔记
Chen_Swan的博客
12-10 3695
论文地址：https://arxiv.org/pdf/1911.04252v1.pdf 这篇文章实现了自训练方法，使用部分带标签数据进行训练，在ImageNet上top-1为87.4%。 方法： 1. 为有标签和无标签的图片。 2. 使用有标签的数据、标准交叉熵损失训练了一个EfficientNet作为教师网络。 3. 用这个教师网络，在无标签数据上生成伪标签，伪标签可以是soft la...
【论文阅读笔记】Self-training with Noisy Student improves ImageNet classification
翻山越岭的那一边
10-21 669
Motivation 利用较少的标记数据来进一步利用大规模的无标记数据进行半监督/自监督学习 用teacher模型生成伪标签训练studen模型，并通过加入噪声使student模型由于teacher模型，迭代此过程以得到更优的模型 原理 基于self-training的teacher-student框架 用标记数据训练teacher模型 用teacher模型对大规模的无标记数据生成伪标签 用labelled data和具有伪标签的unlabelled data共同训练student模型 新的stu
Self-training with Noisy Student improves ImageNet classification论文解析
761527200_leili的博客
04-17 5633
一.摘要 首先，本文开门见山给出实验结果在ImageNet上的提升。之后给出了他的实现方法，总的来说这篇文章结合了（1）知识蒸馏（2）半监督学习（3）模型噪音以及数据噪音 ，想要了解基础知识的可以先看博客：知识蒸馏(Knowledge Distillation)、半监督学习(semi-supervised learning)以及弱监督学习(weak-supervised learning) 总结...
Self-training with Noisy Student improves ImageNet classification
hasque2019的博客
12-11 592
记录一下之前报告的一篇paper 文章链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Xie_Self-Training_With_Noisy_Student_Improves_ImageNet_Classification_CVPR_2020_paper.pdf 代码链接：https://github.com/DanielChen98/noisystudent 谷歌在CVPR2020发表的一个工作，其中有很多trick可以借鉴
Self-training with Noisy Student improves ImageNet classification
weixin_42890793的博客
09-13 102
从4篇顶会论文看Self-training最新研究进展
Paper weekly
03-08 2406
©PaperWeekly 原创 ·作者｜张一帆学校｜华南理工大学本科生研究方向｜CV，Causality本文梳理了 Self-training 的最新进展，涉及 4 篇比较有意思的论文。...
自监督学习(Self-Supervised Learning)多篇论文解读（下）
吴建明wujianming_110117
05-30 2333
自监督学习(Self-Supervised Learning)多篇论文解读（下） 之前的研究思路主要是设计各种各样的pretext任务，比如patch相对位置预测、旋转预测、灰度图片上色、视频帧排序等等。CVPR19和ICCV19上，Google Brain的几个研究员发表了两篇论文，从另外的视角分析和研究self-supervised learning问题。两篇paper名字分别是：Revisiting Self-Supervised Visual Representation Learning (CVP
self training
stdleohao的博客
10-02 906
What is self-training? 在监督学习中，模型都是需要有一个大量的有标签的数据集进行拟合，通常数据成本、人力成本都很高。而现实生活中，无标签的样本的收集相对就很容易很多。因此，近年来，利用大量的无标签样本和少量的有标签样本的半监督学习备受关注。 Self-training 是最简单的半监督方法之一，其主要思想是找到一种方法，用未标记的数据集来扩充已标记的数据集。 ICML 2013:The Simple and EfficientSemi-Supervised Learning Met
论文推荐-使用 Noisy Student 进行自训练可以提高 ImageNet 分类的表现
deephub
01-30 4974
教师学生模型、伪标签、半监督学习和图像分类 使用 Noisy Student 进行自训练改进 ImageNet 分类是一篇由 Google Research、Brain Team 和Carnegie Mellon大学发表在2020 CVPR的论文 Noisy Student在训练时使用相等或更大的学生模型和在学习期间添加噪声（Dropout, Stochastic Depth,和数据增强）扩展了自训练和蒸馏方法。 一个 EfficientNet 模型首先作为教师模型在标记图像上进行训练，为 300M 未
Self-training with Noisy Student improves ImageNet classification (2020 CVPR)
qq_37297763的博客
04-08 3433
1. 出处 2020 CVPR 2. 主要内容 想要尽可能的利用上无标签的数据，来提高模型分类能力 3. 整体结构 输入数据： labeled images和unlabeled images ![在这里插入图片描述](https://img-blog.csdnimg.cn/43f0fbb5964c4d83ad1624951dd3d520.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAVEVuJQ==,
Self-training with Noisy Student improves ImageNet classification（2020 CVPR）半监督经典论文解读（一）
xiaomeihaha1475的博客
05-28 204
CVPR2020 Self-training with Noise Student improves ImageNet Classification
weixin_43120238的博客
05-17 766
Abstract Noise Student Training: a semi-supervised learning apporach. Extends the idea of self-training and distillation with equal-or-larger student medels; Adds noise to the student during learning. Firstly, train EffcientNet on labeled images and use
Noisy Student自训练方法
weixin_51697828的博客
04-03 1223
原文：Xie, Qizhe, Eduard H. Hovy, Minh-Thang Luong and Quoc V. Le. “Self-Training With Noisy Student Improves ImageNet Classification.” 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020): 10684-10695. 源码：https://github.com/goo.
Self-training with Noisy Student
weixin_37179744的博客
11-16 6939
目录Self-training with Noisy Student improves ImageNet classification1、数据集简介2、性能3、模型策略4、实验策略5、Other Self-training with Noisy Student improves ImageNet classification 该篇论文作者之一 Quoc Le 11.13 日在 twitter 上...
Self-training with Noisy Student improves ImageNet classification论文阅读
程序员养成日记
05-08 2180
摘要 提出了一种noisy student training，这种半监督方法即使在标记数据丰富的情况下也能很好的工作。这种方法实现了88.4的准确率，比最先进的方法高2.0%。鲁棒性方面：从61.0%提高到83.7%。 训练步骤： 在标记图像上训练一个教师模型 使用教师模型在未标记图像上生成伪标签标记图像 在标记图像和伪标签标记图像的集合上训练学生模型 改进： 使学生模型大于或至少等于教师模...
论文阅读ImageNet Classification with Deep Convolutional Neural Networks &Going Deeper with Convolutions
周周的专栏
03-18 2359
LeNet是CNN的开端：输入层，卷积层，池化层，全连接层，输出层五脏俱全，是现代CNN网络的基础组件。 这篇博文介绍了LeNet-5 : http://blog.csdn.net/qiaofangjie/article/details/1682684 LeNet-5：共有7层。 2012年AlexNet网络的极大进步，主要是引入了relu函数，dropout技巧，大规模数据的训练，百万
SSL论文笔记：Billion-scale semi-supervised learning for image classification
weixin_39901859的博客
06-27 1015
Abstract 目标：提升一个给定目标结构（如ResNet-50）的性能 这篇文章不是一个所谓的semi-supervised的场景【即同时训练有标签和无标签的】 且目的不太一样，是想借助于大的无标签数据集（和原数据集较像但不同）提升模型质量，使原数据集上分类ACC更高 Introduction explore web-scale semi-supervised deep learning Web-scale: 描述了现代架构的趋势，即增长（远）大于线性速率。Web-scale系统能勾快速有效地进行处理，
CVPR2020 | 用有噪声的学生网络进行自我训练提高ImageNet分类
gzq0723的博客
03-30 1534
点击蓝字关注我们疫情还在继续，但是我们学术一直没有进入冰冻期，而且一些都会好起来！最近，我们一直致力于给大家带来CVPR2020最新最有意义的算法框架分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值