[论文阅读笔记20]TEMPORALENSEMBLING FORSEMI-SUPERVISED LEARNING

最新推荐文章于 2023-09-02 14:53:08 发布
最新推荐文章于 2023-09-02 14:53:08 发布
阅读量584 收藏 3
点赞数 1
分类专栏： 深度学习 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ld326/article/details/114107647
版权

作者:

NVIDIA
Samuli Laine
Timo Aila
年份：2016

核心原则：一致性正则（consistency regularization）

一致性正则要求一个模型对相似的输入有相似的输出，即给输入数据注入噪声，模型的输出应该不变，模型是鲁棒的。

来自【5】的描述

image-20210225155819578

提出模型

模型1：П-model

image-20210225141314310

​ 从这个模型流程图可以知道，数据样本xi（例如论文中数据为图片），经过了两次模型进行随机计算（或者理解为加入一些对抗的因子）。由于经过了带有随机性的计算，故计算结果会有一定误差，这个计算就是上面的squared difference的损失计算Loss1；另外，还有一个就是交叉熵的计算，即是cross-entropy，这个很显然是带有yi的计算，也就是监督的Loss2。这个过程用一句话来说，损失的计算是未标注数据损失值Loss1与标注的损失值Loss2两都构成。两都的合并，加入了w(t)的控制，w(t)是权重随时间变化而变化的权重函数，当t=0时，w(t)=0，即开始于0；然后渐渐增大。直观来说，未标注数据信息随着模型的学习，渐渐加入。论文的实验中设置规则为：前80轮函数为：exp(-5(1-T)^2); T从0到1接近线性增长变化。

【3】如上图所示，Π Model 包含两个核心点：

  • 第一：对每一个参与训练的样本，在训练阶段，进行两次前向运算。此处的前向运算，包含一次随机增强变换和一次模型的前向运算。由于增强变换是随机的，同时模型采用了 Dropout，这两个因素都会造成两次前向运算结果的不同，如图中所示的两个 zi。
  • 第二：损失函数由两部分构成，如下图所示。第一项由交叉熵构成，仅用来评估有标签数据的误差。第二项由两次前向运算结果的均方误差(MSE)构成，用来评估全部的数据（既包括有标签数据，也包括无标签数据）。其中，第二项含有一个时变系数，用来逐步释放此项的误差信号。此处的第二项即是用来实现一致性正则。

具体的流程算法伪代码：

image-20210225141348240

模型2：Temporal ensembling

image-20210225141329558

时序ensembling模型相对于П-model，它也是计算两个预测结果，可是不同的是，П-model是经过在一个epoch中两次计算，这里则是当前的zi与历史的zi来计算，而zi传播下去的公式如下,可以理解为，历史zi并不是上一次的输出，而是一个历史序列的组合，是一个指数滑动平均（Exponentially Moving Average，EMA），这个也是体现了==“ensembling”==的核心。

image-20210225151734417

这个a是一个动量项。它直接控制着历史对当前的影响情况。

这样处理与优化，就像早以空间来换取时间，在每epoch的计算时就少向前计算了一次；另外，这个可以平滑历史而产生预测性的结果，避免单次计算的噪音。

Algorithm2描述了这个过程：

image-20210225141410496

实验及结果：

数据集：CIFAR-10，SVHN

image-20210225141652344

image-20210225141710054

总结：

​ 基于一致性的半监督学习。提出两个实现模型，一个是一个样本计算两次，计算两次结果的loss; 另一个是一个样本计算一次，与之前历史结果作差异计算得到loss. 然后把这个无标注数据计算出来的结果信息与监督数据计算出来的结果一并组成最后的Loss.

这个一致性原则终于解决了我之前一直在思考的没有标注的数据究竟应该怎么使用的问题，在这里突然把之前苦苦思考给了一个解脱。

参考：

【1】Laine, S., Aila, T. (2016). Temporal Ensembling for Semi-Supervised Learning .arXiv https://arxiv.org/abs/1610.02242

【2】Released as part of ICLR 2017 paper submission “Temporal Ensembling for Semi-Supervised Learning”，https://github.com/s-laine/tempens

【3】我们真的需要那么多标注数据吗？半监督学习技术近年来的发展历程及典型算法框架的演进：https://zhuanlan.zhihu.com/p/138085660

【4】弱监督学习–半监督学习(1):Temporal Ensembling for Semi-Supervised Learning，https://blog.csdn.net/qq_44015059/article/details/106157888

happyprince,https://blog.csdn.net/ld326/article/details/114107647

【5】长文总结半监督学习（Semi-Supervised Learning），https://zhuanlan.zhihu.com/p/252343352

happyprince
关注
专栏目录
自监督论文阅读笔记 TASK-RELATED SELF-SUPERVISED LEARNING FOR REMOTE SENSING IMAGE CHANGE DETECTION
YoooooL_的博客
07-06 1146
摘要： 遥感影像变化检测 广泛应用于 城市变化检测、灾害评估等领域。然而，现有的大多数基于 CNN 的变化检测方法 仍然存在 伪变化抑制不足 和 特征表示不足的问题。在这项工作中，提出了一种 基于 具有平滑机制的任务相关自监督学习变化检测网络（TSLCD）的无监督变化检测方法来消除它。 Contributions： (1) 引入了任务相关的自监督学习模块，以更有效地提取空间特征。 (2) 应用 hard-
类感知对比半监督学习(Class-Aware Contrastive Semi-Supervised Learning)论文阅读笔记
Remoa的休闲茶馆
05-31 6086
1 研究背景； 2 关键卖点； 3 主要架构； 4 损失函数； 4.1自监督对比学习损失； 4.2 有监督对比学习损失； 5 模型性能； 参考文献；
内涵：半监督学习之Temporal Ensembling For Semi-supervised Learning
算法工程师进阶之路
12-27 5958
  这篇文章是ICLR2017的一篇文章，是半监督学习领域的一篇经典文章，以这篇文章作为进入半监督学习的一个切入点。   在这篇文章中，作者的将其工作描述为self-ensembling，而具体来讲有两点：1. Π model 2. temporal ensembling。 We describe two ways to implement self-ensembling, Π-model和temporal ensembling.   Π model的思路来源比较直接，就是我们如何去使用无标签数据来进行
Temporal Ensembling for Semi-Supervised Learning
deye1979的专栏
03-28 916
Laine, Samuli, and Timo Aila. "Temporal Ensembling for Semi-Supervised Learning."arXiv preprint arXiv:1610.02242(2016). 这篇论文投在ICLR 2017上：https://openreview.net/forum?id=BJ6oOfqge&noteId=BJ...
[半监督学习] Temporal Ensembling for Semi-Supervised Learning
不定期更新 Web 开发及机器学习相关博客
01-24 1728
两种自集成的实现: \PiΠ-model, Temporal ensembling
论文阅读：Temporal Ensembling for Semi-supervised Learning
qq_44317766的博客
12-20 1833
论文阅读：Temporal Ensembling for Semi-supervised Learning 论文的翻译就不放了，这里给出这篇论文的链接，大家感兴趣的可以去看原文。https://arxiv.org/abs/1610.02242 论文简介：这是半监督领域比较早的一篇论文，主要提出来了两个模型，一个是π model，一个是Temporal Ensembling。 体现的原则：一致性原则，就是模型对未标记数据的输出应该具有一致性的正则。是对伪标签那篇论文的拓展，与之前伪标签论文的区别是伪标签中第二
【论文阅读】TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING
来日可期的博客
07-20 451
【论文阅读】TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNING
一文看遍半监督学习模型（Semi-Supervised Learning）
qq_43456016的博客
09-02 7440
一个模型对于同一个未标记图像，在图像添加额外噪声前后的预测值应该保持一致。添加噪声的方法，如图像增强（空间维度增强、像素维度增强）。同样，Dropout可在模型结构中引入噪声。
nips14-ssl:NIPS 2014 论文“Semi-Supervised Learning with Deep Generative Models”结果复现代码
06-28
使用深度生成模型重现我们的 NIPS 2014 论文关于半监督学习 (SSL) 的一些关键结果的代码。 DP Kingma、DJ Rezende、S. Mohamed、M. Welling 具有深度生成模型的半监督学习神经信息处理系统的进展 27 ( NIPS 2014 )...
Label Efficient Semi-Supervised Learning via Graph Filtering.pdf
08-09
Graph-based methods have been demonstrated as one of the most effective approaches for semi-supervised learning,astheycanexploittheconnectivitypatternsbetweenlabeled and unlabeled data samples to ...
Graph-Based Semi-Supervised Learning
01-09
In order to adapt to this phenomenon, several semi-supervised learning (SSL) algorithms, which learn from labeled as well as unlabeled data, have been developed. In a separate line of work, ...
Semi-supervised Learning
travischan的博客
11-30 708
简单聊一下Semi-supervised Learning(SSL)分类时, 两个可用的方法: self-training与active learning.
论文阅读——Temporal Ensembling for Semi-Supervised Learning
weixin_42999642的博客
10-24 1253
作者: Laine, Samuli, and Timo Aila 年份： ICLR 2017 Github: https://github.com/smlaine2/tempens 2. Self-Ensembling During Training 提出了两种集成训练方法，分别为Π-model和temporal ensembling 2.1 Π-model
半监督方法：不确定性感知自增强模型
qq_36484003的博客
09-19 3538
半监督方法：不确定性感知自增强模型 文献：Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation（半监督方法：不确定性感知自增强模型） 原文：https://arxiv.org/abs/1907.07034 代码：https://github.com/yulequan/UA-MT 主题：semi-supervised, segmentation，Uncertainty estimatio
半监督笔记-2
qq_42563807的博客
12-01 225
接上篇，同样引：https://blog.csdn.net/shangjiankeji/article/details/112681450 2.3 Π Model & Temporal ensembling Model: Temporal ensembling for semi-supervised learning, 2017 这篇研究工作由 NVIDIA 的研究小组完成，其中包含两个半监督算法框架，分别是 Π Model和Temporal ensembling Model, 二者都可以认为是 Γ
【综述】A Review on Semi-Supervised Relation Extraction
Jamie的博客
05-28 654
本文主要总结和对比了三种典型的基于甚于深度学习和元学习的半监督关系抽取方法： self-ensembling：该方法在有干扰的情况下被迫保持一致性，但将面临不足进行监督学习； self-trainning：该方法迭代地生成加标签数据并且重新训练自身 dual learning：该方法利用了一个基础方法和一个双重方法给予一个多向反馈 1 Introduction 任务定义：关系抽取则是自动化抽取文本中实体之间关系的。 为了减少标注的消耗，提升技术显得非常的重要，如主动学习、远程监督、半监督学习、无监督学习
弱监督学习--半监督学习(1):Temporal Ensembling for Semi-Supervised Learning
qq_44015059的博客
05-16 5045
前言 在这算是开个坑，之后会陆续介绍弱监督学习大领域下半监督学习近年来的经典方法。为后续研究学习提供思路 1.半监督学习 1.1什么是半监督学习 半监督学习介于监督学习与无监督学习之间。一般而言，半监督学习的任务与监督学习一致，任务中包含有明确的目标，如分类。而所采用的数据既包括有标签的数据，也包括无标签的数据。 简单理解，可以认为半监督学习就是同时运用了标签数据和无标签数据来进行训练的监督学习。当然，在另外一些研究中，带有约束限制的无监督学习也被视为半监督学习，例如受限的聚类算法。 从半监督学习与监督学习
机器学习与深度学习系列连载： 第一部分 机器学习（十三）半监督学习（semi-supervised learning）
Doctor Wu的博客
10-03 1978
1
Π-model，Temporal ensembling，Mean Teacher半监督模型
Zhangsan0219的博客
11-06 2675
Π-model，Temproal ensembling方法来自文章TEMPORAL ENSEMBLING FOR SEMI-SUPERVISED LEARNINGhttps://arxiv.org/abs/1610.02242 ensemble模型通常要优于ensemble中的单一模型。当我们在训练某个单一的神经网络，特别是当该神经网络含有dropout，dropconnect或者随机深度等正则化方法时，训练总是集中在网络的一个特定子集上，因此完整的网络可以看作是我们训练的这些sub-network的一个
self-supervised learning
最新发布
09-21
自我监督学习是一种机器学习方法，通过对数据进行合理的预测任务，从中获得有用的表示。与传统的监督学习不同，自我监督学习不需要人工标注的标签来指导训练，而是利用数据自身的信息进行训练。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值