《Realistic Evaluation of Deep Semi-Supervised Learning Algorithms》笔记

最新推荐文章于 2024-04-17 11:45:56 发布
最新推荐文章于 2024-04-17 11:45:56 发布
阅读量525 收藏 4
点赞数 3
分类专栏： 机器学习之半监督学习 文章标签： 机器学习 深度学习 人工智能 迁移学习 分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qwq_xcyyy/article/details/119573892
版权

对深度半监督学习算法的现实评价

Abstract

写作目的：为了帮助指导SSL研究更贴合现实世界的适用性，文章公开了统一的重新实现和评估平台。

Introduction

第二节：列举了改进后的评估环境和方法。
第三节：概述了深度架构的现代SSL方法，并强调了本文包含的方法。
第四节：各种SSL算法的现实适用性。通过应用SSL做图像分类。
第五节：得出了评估SSL技术的具体建议。

Improved Evaluation

  • 共享实施方式：标准化实验流程
  • 高质量的监督基线：优化SSL方法的参数
    实验结论：
    完全监督基线与SSL基线之间的差距比文献中通常报道的要小。
    必须使用相同的模型来评估不同的算法，以避免混淆比较。
  • 对比迁移学习：
  1. 迁移学习通常是通过使用原始模型初始化新模型的参数，并使用小数据集“微调”这个新模型来实现的。虽然这种方法只有在适用的源数据集可用时才可行，但它仍然提供了一个强大的、广泛使用的、很少报告（rarely reported）的基线来进行比较。下为迁移学习的简单介绍。
    迁移学习简单介绍
  2. 实验结论：
    使用该网络实现的任何SSL技术中，错误率最低。这表明当适合传输的标记数据集可用时，迁移学习可能是一个不错的选择。
  • 考虑类分布不匹配：研究了标记数据和未标记数据之间不同类分布的影响。
  1. 研究动机：
    分类中的数据集太小，只能用类似的图像拓展数据集。但训练中所用到的图像所属的那个类别标签有极大可能不是我们真正需要分类的类别标签。SSL算法的标准评估忽略了这种可能性。
    例子：我们的目的是分类十个人的脸部照片，基于数据不够，我们扩充了很多其他随机人员的脸部图片。类别标签一下子从10个扩充到N个，但我们的目的只需要分类这十个人。
  2. 实验结论：
    a. 从不使用任何未标记的数据中添加一组未标记的数据实际上会损害性能。
    b. 这意味着，如果未标记数据与核心学习任务足够无关，则为获得标记数据可能比获得未标记数据支付更大的成本。实验中没有重新调整这些实验的超参数；因为通过这样做，差距可能会缩小。
  • 改变标签和未标签数据的数量：
  1. 常见做法：分别丢弃不同数量的类标签
  2. 少见情况：用系统的方法模拟两个场景
    a.未标记数量是巨大的：互联网图片，获取容易，标记相对昂贵
    b. 未标记数量是极少的：医学影像，获取和标记都很昂贵
  3. 实验结论：
    SSL技术对不同数据量会有令人震惊的不同水平的敏感度。
  • 更符合实际的小验证集：

  1. 做法：讨论小型验证集的影响，分析了验证集大小与模型精度估计方差之间的关系。

  2. 验证集：用于调整超参数的数据。下为hyperparameters和parameters的区别。
    hyperparameters和parameters的区别

  3. 原因：大多数的SSL中验证集通常明显大于训练集。符合实际的小型验证集限制了选择模型的能力。
    导致：
    i. 任何客观值（如精度）由于验证集的样本量较小，用于超参数调整的精度将明显更嘈杂。
    ii. 广泛的超参数调整可能有些徒劳，因为收集的衡量性能数据太少。
    iii. 许多情况下，即使是使用交叉验证也可能是不够的，而且还会产生大量的计算成本。

  4. 实验结论：
    对于实际大小的验证集（占训练集大小的10%），区分模型的性能是不可行的。

Semi-Supervised Learning Methods

半监督

给一个数据集，利用有标签数据和无标签数据获得一个预测函数，该预测函数比只利用有标签数据的预测函数更准确。

Π-Model

  1. 应用一致性正则化的最简单的设置是，当预测函数fθ(x)本身是随机的时，即，它可以为相同的输入x产生不同的输出。
  2. 当fθ(x)是一个神经网络时，由于常见的正则化技术，如数据增强、退出和添加噪声，使上述情况在训练过程中非常常见。
  3. Π-Model增加了一个损失术语，它鼓励通过网络的不同通道的x∈Dul的网络输出之间的距离很小。

Mean Teacher

  1. 问题：
    Π模型方法的一个困难在于，它依赖于一个潜在的不稳定的“目标”预测，即在训练中可以快速变化的第二次随机网络预测。
  2. 解决：
    预测函数的参数是先前所有训练步骤的参数的平均值，这样可以使未标记数据的预测输出更加稳定。
  3. 解释：
    在Temporal-Ensembling中，由于每个目标在每个历元epoch中只更新一次，因此学习的信息以缓慢的速度被融入到训练过程中。相比之下，平均教师平均模型权重，而不是标签预测。因此，它可以在每一步step而不是每一个历元之后聚集信息。来源如下。
    https://zhuanlan.zhihu.com/p/74787474

Virtual Adversarial Training(VAT)

正则化，↑robust，↓过拟合

  1. 对比对抗训练AT：VAT只需要无标签数据就可完成正则化。
  2. 虚拟对抗训练(VAT)不依赖于fθ(x)的内置随机性，而是直接将一个小的扰动添加到x中，这对预测函数的输出有最大的影响。
  3. 扰动计算的思想可以理解为：将输入样本向着损失上升的方向再进一步，得到的对抗样本就能造成更大的损失，提高模型的错误率。来源如下。
    https://blog.csdn.net/qq_33221657/article/details/105170202

Entropy Minimization (EntMin)

添加了一个损失项，鼓励网络对所有未标记数据进行置信度预测（低熵）。

Pseudo-Labeling

在训练过程中使用预测函数为未标记样本生成“伪标签”。具有相应类概率（需大于预定义阈值）的伪标签被用作应用于未标记样本l的标准监督损失函数的输入。

Conclusions and Recommendations

  1. 比较SSL时，使用完全相同的底层模型
  2. 报告经过调整良好的完全监督和在适用的基线中的迁移学习性能。SSL的目标应该是显著超过完全监督的设置。
  3. 当未标记的数据来自不同的类别时，SSL技术都受到了影响。
  4. 一个理想的SSL算法即使有很少的标记数据也是有效的，并从额外的未标记数据中获益。
  5. 注意不要在不实际的大验证集中过度调整超参数。当验证集实际上很小时，需要在每个模型或每个任务的基础上进行重大调整的SSL方法将无法使用。
  6. 最佳时机：
    a. 当没有来自类似领域的高质量标记数据集可用于微调时。
    b. 当被标记的数据通过采样从未标记的数据池收集时，而不是来自(稍微）不同的分布。
    c. 当标记数据集足够大，可以准确估计验证精度时，这是进行模型选择和调优超参数时必要的。

Experiments

在这里插入图片描述完全监督基线
完全监督基线

qwq_xcyyy
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Self-Supervised-Learning-for-Fine-grained:应用自我监督学习进行细粒度图像分类
04-02
细粒度的自我监督学习 此存储库具有与用于细粒度图像分类的自我监督学习相关的代码。 我使用了木薯植物病数据集
解读RealMix:Towards Realistic Semi-Supervised Deep Learning Algorithms
so
12-21 1277
来源：https://arxiv.org/pdf/1912.08766.pdf 官方代码：https://github.com/uizard-technologies/realmix 主要贡献： 1.在cifar10数据集上仅仅只利用每类250个标签数据实现了sota(error rate:9.79%) 2.在标签数据和无标签数据完全 mismatch的情况下，依然能够surpass b...
论文略读：REALISTIC EVALUATION OF SEMI-SUPERVISED LEARNING ALGORITHMS IN OPEN ENVIRONMENTS
最新发布
qq_40206371的博客
04-17 166
iclr 2024 spotlight reviewer 评分 8888。
李宏毅 DeepLearning-2017-Semi-supervised Learning
zjguilai的博客
05-11 254
对我们来说，我们从来不缺都是data，但是缺的是有label的data,所以需要semi-supervised Learning 这里unlabel data是只告诉我们function Model的输入，但是不告诉输出，而且unlabeled data远大于labels data unlabeled data伴随着一些分布的假设，semi-supervised Learning 是否有用决定于...
2020李宏毅机器学习笔记-Semi-supervised Learning
zn961018的博客
05-09 1638
目录 摘要 Introduction Semi-supervised Learning for Generative Model Supervised Generative Model Semi-supervised Generative Model Low-density Separation Assumption Self Training Entropy-based Regularization Smoothness Assumption cluster and then labe
半监督学习（semi-supervised learning）
weixin_30256505的博客
01-02 109
P(x)P(x,y)}⇒P(y|x) 自 P(x) 生成的无标签样本； 自 P(x,y) 生成的标记样本； 转载于:https://www.cnblogs.com/mtcnn/p/9422395.html
Semi Supervised Learning for Few Shot Image to Image Translation
07-18
To do so, we propose applying semi-supervised learning via a noise-tolerant pseudo-labeling procedure. We also apply a cycle consistency constraint to further exploit the information from unlabeled ...
Spectrum Occupancy Prediction for Realistic Traffic Scenarios: Time Series versus Learning-Based Models
01-20
However, in a CRN, it is difficult to ascertain a priori the pattern of the spectrum usage of the primary user due to its stochastic behavior. In this context, the spectrum occupancy prediction ...
Learning generative adversarial networks : next-generation deep learning
10-27
can be used on semi-supervised domains, and how you can apply them to image generation and creativity. GANs are hard to train. This chapter looks at some techniques to improve the training/learning ...
Realistic Tank Controller 2.0 17-3-20
08-23
履带插件
Conv-DBN for Scalable Unsupervised Learning of Hierarchical Representations
05-21
learning of hierarchical generative models such as deep belief networks. Scaling such models to full-sized, high-dimensional images remains a dicult problem. To address this problem, we present the ...
vat_tf:使用Tensorflow进行虚拟对抗训练
05-09
vat_tf 用于在SVHN和CIFAR-10数据集上重现半监督学习结果的Tensorflow实现，在论文“虚拟对抗训练：一种用于监督和半监督学习的正则化方法”中 要求 tensorflow-gpu 1.1.0，scipy 0.19.0（用于ZCA美白） 准备半监督学习数据集 在CIFAR-10上 python cifar10.py --data_dir=./dataset/cifar10/ 在SVHN上 python svhn.py --data_dir=./dataset/svhn/ 无需扩充的半监督学习 在CIFAR-10上 python train_semisup.py --dataset=cifar10 --data_dir=./dataset/cifar10/ --log_dir=./log/cifar10/ --num_epochs=500 --epoch_decay_
虚拟对抗训练（VAT）：一种用于监督学习和半监督学习的正则化方法
https://www.cnblogs.com/qizhou/
12-25 1129
虚拟对抗损失：一种对给定输入的条件标签分布的局部平滑度的新度量方法。模型对于输入的微小改变，它的输出不应该有很大的变动，对于小扰动有大的输出波动的模型会导致这个损失函数变大。通常过拟合的时候，会出现这种现象，所以可以把VAT看做是一种正则化的方法。 虚拟对抗训练就是要找一个使输出偏差最大的扰动方向，在这个方向上对输入产生扰动，再用于训练模型，使模型的局部平滑度增强。 以上公式展示了...
ATL正则表达式库使用
05-18 758
ATL正则表达式库使用ATL中，由于ATL Server的需要，需要对Client发送过来的地址、命令等复杂文字字段信息解码，而正则表达式是公认的最强大的文字解析工具，所以，ATL提供了一些用于正则表达式的库方便了我们的工作。 1、        CATLRegExp类声明：template class CAtlRegExp;    初始化： 与微软
Cross-adversarial local distribution regularization for semi-supervised medical image segmentation
weixin_51815120的博客
10-11 105
在"虚拟对抗训练”（Virtual Adversarial Training，VAT）中，"虚拟"一词并不是指虚构的、不存在的，而是指这种对抗性训练中的对抗性扰动是通过模拟生成的、而非真实的对抗攻击。泛化能力指的是模型在未见过的数据上的性能。除此之外，VAT产生的对抗性示例可能会集中在某个区域，也就是这些对抗性示例在输入空间中分布的比较密集，可能失去了多样性，即它们在某种程度上相似，没有涵盖输入空间中各种可能的扰动方式，故这种对抗性示例质量明显降低，它们无法有效的欺骗模型，无法有效的干扰模型的决策。
机器学习/计算机视觉/ NLP的论文及笔记
Oner.wv的专栏
12-03 4006
来源：专知【导读】这个仓库包含了一些机器学习论文与笔记，主题包括自监督学习、半监督学习、无监督学习、语义分割、弱监督、半监督语义分割、信息检索、图神经网络等。github链接：https...
我们真的需要那么多标注数据吗？半监督学习技术近年来的发展历程及典型算法框架的演进...
Paper weekly
05-23 5467
即使在大数据时代，获取大批量高质量的标注数据在实际中往往成本高昂。半监督学习技术作为一类可以同时有效利用有标签数据和无标签数据的学习范式，有希望大大降低监督任务对于标签数据的需求。本文从...
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
04-05
DSFT is a deep learning-based approach that uses a spatial feature transform layer to recover realistic texture in the HR image. The spatial feature transform layer takes the LR image and a set of HR...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值