半监督学习之Noisy Student

最新推荐文章于 2024-07-30 13:40:08 发布
最新推荐文章于 2024-07-30 13:40:08 发布
阅读量2.7k 收藏 4
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42764932/article/details/112980737
版权
本文介绍了如何利用半监督学习的伪标签方法训练模型，通过教师网络对无标签数据生成软标签，然后用这些标签训练学生网络。学生网络通过数据和模型噪音提高泛化能力，同时采用数据过滤和平衡来优化训练。实验表明软标签对于域外图像的指导更有效，且噪声、随机深度和数据增强对于提升学生模型性能至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

基本结构

半监督学习之伪标签学习
https://blog.csdn.net/weixin_42764932/article/details/112910467
和伪标签学习差不多

  1. 为有标签和无标签的图片。

  2. 使用有标签的数据、标准交叉熵损失训练了一个EfficientNet作为教师网络。

  3. 用不添加噪音的教师网络，在无标签数据上生成伪标签，伪标签可以是soft label(持续分布），或者hard label（one-hot分布）。文章说软标签效果更好。

  4. 在有标签和无标签数据下，使用交叉熵训练一个添加噪音的学生网络。

  5. 通过把学生网络视为教师网络，迭代以上步骤，生成新的伪标签，并训练学生网络。

学生模型种添加噪音的作用：

  1. 数据噪音：总所周知提高泛化能力，例如：不同图像同一个类这个不变量鼓励学生模型超越老师学习，用更多不同的图像做出相同的预测。

  2. 模型噪音：提高模型鲁棒性和泛化能力

具体设置：

  1. 随机深度：幸存概率因子为 0.8

  2. dropout：分类层引入 0.5 的丢弃率

  3. 随机增强：应用两个随机运算，其震级设置为 27

  4. 数据过滤：将教师模型中置信度不高的图片过滤，因为这通常代表着域外图像

  5. 数据平衡：平衡不同类别的图片数量

  6. 教师模型输出的标签使用1)软标签（eg:[0.1,0.2,0.6,0.9]） or 2)硬标签（eg:[1,0,1,0,0,1]）,，经过实验表明，软标签对域外图像又更强的指导作用，所以作者才用软标签作为伪标签格式

在这里插入图片描述

噪音、随机深度、数据扩充起着重要的作用使学生模型胜过教师模型，对此有人提出是不是对未标记数据加入正则项以防止过拟合来代替噪音，作者在实验中说明这是不对的。因为在去噪的情况下，未标记图像的训练损失并没有下降多少以此说明模型并没有对未标记数据过拟合。

参考https://blog.csdn.net/qq_39426225/article/details/105571340?utm_medium=distribute.pc_relevant.none-task-blog-searchFromBaidu-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-searchFromBaidu-2.control

半监督学习 (SemiSupervised Learning) 原理与代码实例讲解
AI天才研究院
06-12 613
半监督学习 (Semi-Supervised Learning) 原理与代码实例讲解 1.背景介绍 在机器学习领域，数据是驱动模型性能的关键因素。然而，获取大量标注数据往往是昂贵且耗时的。半监督学习（Semi-Supervised Learni
【论文阅读笔记】Self-training with Noisy Student improves ImageNet classification
翻山越岭的那一边
10-21 785
Motivation 利用较少的标记数据来进一步利用大规模的无标记数据进行半监督/自监督学习 用teacher模型生成伪标签训练studen模型，并通过加入噪声使student模型由于teacher模型，迭代此过程以得到更优的模型 原理 基于self-training的teacher-student框架 用标记数据训练teacher模型 用teacher模型对大规模的无标记数据生成伪标签 用labelled data和具有伪标签的unlabelled data共同训练student模型 新的stu
Noisy-Student_sample
04-17
嘈杂的学生样本 这是李宏毅教授（李洪义）在NTU-ML-2021弹簧HW3上制作的Noisy Student（ ）的简单实现。 -11移除训练数据上的部分标签。共有11类，有3,080个带标签的训练数据，有6,786个未带标签的训练数据。 数据样本 实验结果 一代 顶级Val Acc 1个 65.7 2个 76.3 3 76.4 4 79.4 5 81.9 程序 请遵循“吵闹的学生”的程序。 首先使用标签数据训练教师模型->使用教师模型在未标签数据上生成伪标签->通过置信度过滤伪标签数据->平衡每个班级的数据数量->组合标签数据和伪标签数据->在新数据集上训练学生模型->将学生模型设为老师模型，然后重复该过程。 请注意，在原始论文中，它们在数据和模型上都执行增强。在数据增强中，使用RandAugment。 在模型扩充中，使用了辍学和随机深度。 但是，此样本未使用随机深度
Semi-supervised：Noisy Student
qq_36484003的博客
09-22 807
Semi-supervised：Noisy Student 文献：Self-training with Noisy Student improves ImageNet classification 论文原文链接 GitHub代码链接 主题：Semi-supervised，student-teacher model，noisy student 目录Semi-supervised：Noisy StudentAbstract（摘要）1. 想解决什么问题？question2. 通过什么理论/模型
noisy students: 一种半监督学习方法
qq_35166798的博客
12-23 931
The difference with knowledge distillation : (You can call noisy student as knowledge expansion ) the student network is no smaller than the teacher. inject noise For input noise: use data augmentation with RandAugment [18]. (Data augmentation is a.
Noisy Student自训练方法
weixin_51697828的博客
04-03 1352
原文：Xie, Qizhe, Eduard H. Hovy, Minh-Thang Luong and Quoc V. Le. “Self-Training With Noisy Student Improves ImageNet Classification.” 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (2020): 10684-10695. 源码：https://github.com/goo.
探秘NoisyStudent：谷歌研究的自我监督学习新范式
gitblog_00080的博客
04-25 551
探秘NoisyStudent：谷歌研究的自我监督学习新范式 noisystudentCode for Noisy Student Training. https://arxiv.org/abs/1911.04252项目地址:https://gitcode.com/gh_mirrors/no/noisystudent 在深度学习领域，数据是模型训练的关键，而获取高质量标注的数据往往代价高昂。为了解...
Timm使用Noisy Student (EfficientNet)进行训练
hallo128的博客
07-30 871
Noisy Student Training是一个半监督学习的方法。它扩展了自我训练和蒸馏的思想，使用等量或更大的学生模型和噪音添加到学生在学习过程中。用带标签的图像训练教师模型使用教师在未标记的图像上生成伪标签在标记图像和伪标记图像的组合上训练学生模型。通过将学生作为教师重新标记未标记的数据并训练新学生，该算法被迭代几次。加噪学生训练旨在通过两种方式提高自我训练水平。首先，它使学生比老师大，或者至少等于老师，这样学生可以从更大的数据集中更好地学习。
Self-training with Noisy Student improves ImageNet classification阅读笔记
Chen_Swan的博客
12-10 3751
论文地址：https://arxiv.org/pdf/1911.04252v1.pdf 这篇文章实现了自训练方法，使用部分带标签数据进行训练，在ImageNet上top-1为87.4%。 方法： 1. 为有标签和无标签的图片。 2. 使用有标签的数据、标准交叉熵损失训练了一个EfficientNet作为教师网络。 3. 用这个教师网络，在无标签数据上生成伪标签，伪标签可以是soft la...
李宏毅教授在NTU-ML-2021的Noisy Student实现探究
Noisy Student是一种半监督学习方法，由Google提出，该方法是基于知识蒸馏（Knowledge Distillation）和自训练（Self-training）的改进技术。它通过一个教师模型（teacher model）生成伪标签，然后让学生模型...
noisystudent:嘈杂的学生培训守则。 https
03-20
嘈杂的学生培训 概述 是一种半监督学习方法，在ImageNet（SOTA）上可达到88.4％的top-1准确性，并且在健壮性和对抗性基准方面获得令人惊讶的收益。嘈杂的学生培训基于自我培训框架，并通过以下四个简单步骤进行了培训： 在标签数据上训练分类器（教师）。 推断更大的未标记数据集上的标签。 在合并的集合上训练更大的分类器，增加噪音（嘈杂的学生）。 转到第2步，以学生为老师 有关由Noisy Student Training培训过的ImageNet检查点，请参阅 。 SVHN实验 在这里，我们展示了对SVHN进行噪声学生培训的一种实施方式，该实施将受监督模型的性能从97.9％准确性提高到98.6％准确性。 # Download and preprocess SVHN. Download the teacher model trained on labeled data with ac
NoisyStudent:pytorch实施“对有噪声的学生进行自我培训可以改善ImageNet分类”
05-24
带有噪声学生的自我训练可改善ImageNet分类
Noisy Student Training：自训练（Self-training）、半监督学习、teacher和student迭代学习
zephyr_wang的博客
08-11 4069
1 简介 本文根据2020年《Self-training with Noisy Student improves ImageNet classification》翻译总结。 自训练（Self-training）使用标注数据训练一个好的teacher模型，然后使用该teacher模型对未标注的数据进行标注，最后使用标注数据和非标注数据联合训练一个student模型。如下图所示。 本文提出的Noisy Student Training扩展了自训练和蒸馏，即（1）使用一个相等或者更大的student 模型，（2
论文推荐-使用 Noisy Student 进行自训练可以提高 ImageNet 分类的表现
deephub
01-30 5128
教师学生模型、伪标签、半监督学习和图像分类 使用 Noisy Student 进行自训练改进 ImageNet 分类是一篇由 Google Research、Brain Team 和Carnegie Mellon大学发表在2020 CVPR的论文 Noisy Student在训练时使用相等或更大的学生模型和在学习期间添加噪声（Dropout, Stochastic Depth,和数据增强）扩展了自训练和蒸馏方法。 一个 EfficientNet 模型首先作为教师模型在标记图像上进行训练，为 300M 未
论文精读--Noisy Student
m0_73202283的博客
02-21 1688
我们提出了Noisy Student训练，这是一种半监督学习方法，即使在标记数据丰富的情况下也能很好地工作。Noisy Student训练在ImageNet上达到了88.4%的top1准确率，比最先进的模型(需要3.5B张弱标记的Instagram图像)高2.0%。在鲁棒性测试集上，它将ImageNet-A top-1的准确率从61.0%提高到83.7%，将ImageNet-C的平均损坏误差从45.7降低到28.3，将ImageNet-P的平均翻转率从27.8降低到12.2。
计算机视觉的半监督模型：Noisy student, π-Model和Temporal Ensembling
deephub
04-04 4221
今天我将讨论一些在过去十年中出现的主要的半监督学习模型。首先让我们谈谈什么是半监督学习以及我们为什么对它感兴趣！ 假设我们有一个大的标记图像数据集。我们想使用这些数据来构建一个模型，进行图像分类的任务，解决这个问题的标准方法是构建卷积神经网络 (CNN)。CNN 已被证明在使用大型数据集进行训练时可以提供最先进的结果。 下面就是一个非常重要的问题，如果我们没有大型标记数据集怎么办？例如我们工作中的分类与现在的预训练的数据集例如imagenet没有交集，或者说我们处理的具体的领域没有大量公共标记数据。这样，我
Self-training with Noisy Student
weixin_37179744的博客
11-16 7039
目录Self-training with Noisy Student improves ImageNet classification1、数据集简介2、性能3、模型策略4、实验策略5、Other Self-training with Noisy Student improves ImageNet classification 该篇论文作者之一 Quoc Le 11.13 日在 twitter 上...
Noisy Student（CVPR 2020）论文解读
00000cj的博客
04-16 1805
本文提出了一种新的半监督方法Noisy Student Training，主要包括三步：（1）在有标签数据上训练一个教师模型（2）利用教师模型在无标签数据上生成伪标签（3）结合有标签的图片和伪标签的图片训练学生模型。重复迭代这个过程，将学生作为教师重新生成伪标签，然后再训练一个新的学生模型。
比监督学习做的更好：半监督学习
zenRRan的博客
11-23 539
作者：Andre Ye编译：ronghuaiyang导读为什么半监督学习是机器学习的未来。监督学习是人工智能领域的第一种学习类型。从它的概念开始，无数的算法，从简单的逻辑回归到大规模的神...
Noisy student
最新发布
03-11
### 处理教育环境中嘈杂学生的方法 在教育环境中，处理嘈杂的学生是一个常见的挑战。为了有效管理课堂秩序并确保教学顺利进行，教师可以采取多种策略。 #### 1. 建立清晰的行为期望 制定明确的课堂规则和行为准则有助于预防不当行为的发生。通过与学生共同讨论这些规定，可以使他们更加理解并愿意遵守[^1]。 #### 2. 使用积极强化技术 当观察到良好的行为时，及时给予表扬和其他形式的认可能够鼓励更多正面表现。这种方法不仅适用于个体学生，也可以用于整个班级群体激励机制中。 #### 3. 提供结构化学习活动 设计有趣而具有吸引力的任务来吸引学生的注意力，减少分心的机会。例如，在小组合作项目期间安排特定角色分配给每位成员；或者利用多媒体资源如视频片段作为辅助材料引入新概念。 #### 4. 实施个别辅导和支持措施 对于那些持续表现出干扰性的同学，则可能需要额外的关注和个人化的干预计划。这包括了解背后原因（比如家庭问题），并与家长沟通协作寻找解决办法；同时也考虑心理咨询服务等外部支持渠道。 ```python def handle_noisy_students(students_behavior): """ A function to simulate handling strategies for noisy students. Args: students_behavior (list): List containing behavior levels of each student Returns: str: Message indicating the approach taken based on average class noise level """ avg_noise_level = sum(students_behavior) / len(students_behavior) if avg_noise_level < 2: return "Class is well-behaved, continue with planned activities." elif 2 <= avg_noise_level < 4: return "Implement positive reinforcement techniques and structured learning tasks." else: return "Consider individual counseling sessions or external support services." ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值