Raki的读paper小记：REPRESENTATIONAL CONTINUITY FOR UNSUPERVISED CONTINUAL LEARNING

最新推荐文章于 2024-07-08 16:21:27 发布
最新推荐文章于 2024-07-08 16:21:27 发布
阅读量852 收藏 1
点赞数
分类专栏： 读paper 文章标签： 深度学习 机器学习 人工智能 持续学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raki_J/article/details/123135760
版权

Abstract & Introduction & Related Work

  • 研究任务
    unsupervised continual learning (UCL)
  • 已有方法和相关工作
  • 面临挑战
    现有的方法都限于监督学习，限制了在现实世界中的使用
  • 创新思路
    1. 我们提出了Lifelong Unsupervised Mixup（LUMP），这是一种简单而有效的技术，在当前任务和以前任务的实例之间进行插值，以减轻无监督表征的灾难性遗忘
    2. 我们试图弥合持续学习和表征学习之间的差距，并解决无标签数据的持续学习和一连串任务的表征学习这两个关键问题
  • 实验结论
    1. 表明对注释数据的依赖并不是持续学习的必要条件
    2. 超越了有监督持续学习的sota
    3. 我们提供了表征和损失景观的可视化，这表明UCL学习了具有辨别力的人类知觉模式，并实现了更平坦和更平滑的loss landscape

在这里插入图片描述

PRELIMINARIES

PROBLEM SETUP

有监督，交叉熵
在这里插入图片描述

LEARNING PROTOCOL AND EVALUATION METRICS

当前传统的持续学习策略是用标准的训练方案，学习一系列任务的网络表示

而我们的模板是学习特征表示，分为两个步骤

  1. 在一系列任务上预训练得到表示
  2. 用KNN来衡量预训练表示的质量
    在这里插入图片描述
    用两种metrics
    1. 平均准确率
    2. 平均遗忘
      在这里插入图片描述

UNSUPERVISED CONTINUAL LEARNING

CONTINUOUS REPRESENTATION LEARNING WITH SEQUENTIAL TASKS

对比学习可以将相似的样本的表示的相似度最大化，而将不同样本的表示的相似度最小化，然而这些方法需要大批量，负样本对，或者结构上的修改，或者非微分运算符，让其难以应用到持续学习的场景

我们focus on SimSiam 和 BarlowTwins

SimSiam

在这里插入图片描述

BarlowTwins

在这里插入图片描述

PRESERVING REPRESENTATIONAL CONTINUITY: A VIEW OF EXISTING SCL METHODS

在这里插入图片描述

LIFELONG UNSUPERVISED MIXUP

标准Mixup训练基于邻域风险最小化构造的虚拟样本

最小化插值样本项
在这里插入图片描述
通过将先前任务中存储在重放缓冲区的实例纳入临近分布，利用Mixup来进行无监督的持续学习

LUMP在当前任务 ( x i , τ ) ∈ U τ (x_i,τ)∈U_τ (xi​,τ)∈Uτ​的例子和从 replay 缓冲器中使用均匀抽样选择的随机样本之间进行插值，鼓励模型在一连串的任务中表现为线性

LUMP在当前任务的插值实例上优化优化等式2和3

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
插值的例子不仅增强了重放缓冲区中过去的任务实例，而且还接近于正则化的损失最小化（Zhang等人，2021）。在UCL期间，LUMP通过重访与当前任务相似的过去任务的属性，增强了学习到的表征的鲁棒性。为此，LUMP相继缓解了灾难性遗忘，并学习了辨别性&人类感知特征，与目前最先进的SCL策略相比，性能有了显著提高（见表1和图4）。此外，与现有的基于演练的方法不同，它不需要调整额外的超参数

EXPERIMENTS

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

DISCUSSION AND CONCLUSION

这项工作试图弥补无监督表示学习和持续学习之间的差距。特别是，我们为无监督的持续学习建立了以下发现：

超越有监督的持续学习。我们对各种持续学习策略和数据集的实证评估表明，UCL表征比SCL表征对灾难性遗忘更强大。此外，我们注意到，UCL对OOD任务的概括性更好，并且
在少量的学习任务中取得了更强的性能。我们提出了Lifelong unsupervised mixup (LUMP)，它在当前任务和过去任务之间插补了无监督的实例，并在广泛的任务中获得了更高的性能和更低的灾难性遗忘。

剖析学习到的表征。我们进行了系统的分析，以了解UCL和SCL策略学到的表征之间的差异。通过调查表征之间的相似性，我们观察到UCL和SCL策略在低层有很高的相似性，但在高层是不一样的。我们还表明，与SCL相比，UCL表征能学习到连贯的、有鉴别力的模式和更平滑的损失景观。

限制和未来的工作。在这项工作中，我们没有考虑CL的高分辨率任务。我们打算在未来的工作中评估在ImageNet上学习的表征的遗忘情况（Deng等人，2009），因为UCL显示出较低的灾难性遗忘，并且在过去的几年中，表征学习在ImageNet上取得了重大进展。在后续工作中，我们打算进行进一步的分析，以了解UCL的行为，并开发复杂的方法，在不同的设置下持续学习无监督的表征，如类增量或任务诊断的CL

Remark

利用对比学习达到了无监督超过有监督的效果，我觉得可能主要是SimSiam的功劳？内容比较侧重对比学习，在持续学习上…不知道咋说，总之ICLR的paper的数学要求我还需要努努力orz

爱睡觉的Raki
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文《Continual Unsupervised Representation Learning》解读
qq_35531985的博客
04-26 1744
这篇论文提出了他们的表示学习的模型，即CURL（Continual Unsupervised Representation Learning）。这个模型包含以下三大部分，推断任务。动态拓展，混合生成回放。 推断任务 在上图中，x是输入到数据，经过共享层的编码，将数据进行处理。其中，经过softmax，根据q(y∣x)q(y|x)q(y∣x)确定输入的数据属于哪个任务。此外，经过特定组件的编码获得...
论文《Unsupervised Continual Learning And Self-Taught Associative Memory Hierarchies》解读
qq_35531985的博客
04-20 336
本论文提出了一个无监督的持续学习组件STAM(Self-Taught Associative Memory) 如下图： 上图中，CiC_iCi​为所有聚类簇的集合。当一个图片XiX_iXi​输入到这个结构中时，会被打碎成若干个重叠的可接受域(Receptive Fields,RFs)。需要注意的是，每一个STAM结构处理一个可接受域。这些可接受域经过函数c(xi,m)=arg min⁡j=1.....
持续学习——Continual Unsupervised Representation Learning——NeurIPS2019
LetItBe的博客
07-22 529
Abstract Unsupervised continual learning (learning representations without any knowledge about task identity) Introduction 挖坑写法，however, most of these techniques have focused on a sequence of tasks in which both the identity of the task (task label) and b.
持续学习+元学习+无监督学习文章调研（三）
weixin_42939529的博客
03-02 1008
持续学习+元学习文章调研（三）文章Continual Unsupervised Representation Learning,NIPS2019任务定义损失函数与模型结构实验结果&讨论Few-Shot Class-Incremental Learning, CVPR2020任务定义使用Neural Gas表示知识信息AFEC: Active Forgetting of Negative Transfer in Continual Learning, NIPS 2021数学与公式推导实验&评估
Lifelong Unsupervised Domain Adaptive Person Re-identification with Coordinated Anti-forgetting and
qq_42865713的博客
03-12 172
为了协调适应和抗遗忘，论文在每次参数更新迭代中将这两个任务（抗遗忘的任务和适应新数据的任务）看作元训练和元测试，而不是像MAML原来论文那样将样本分为元训练和元测试。Memory队列长度是512，队列中的每一个元素是对应k个，如果有某个identity对应feature实际上不满k个，就用增强的feature填充。3、其中计算Lkl的时候，i属于old batch和new batch的交集，我觉得论文里可能写错了，应该属于并集，因为old batch和new batch是采样不同样本的，取交集意义不大。
深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning
yuanchheneducn的博客
06-14 768
这个主题我很喜欢，嘿嘿~ 1. 无监督特征学习 用稀疏自编码器从大量无标注数据中学习好的特征描述。 2. 数据预处理 无监督特征学习前，要对数据进行预处理。 如均值标准化，PCA，PCA白化，ZCA白化。但是需要记录下训练时的参数，即均值和U，在后面训练时要使用相同的参数。 3. 无监督特征学习的术语 自学习：不要求无标注数据和已标注的数据来自相同的分布。
Raki的读paper小记：Forget-free Continual Learning with Winning Subnetworks
Raki_J的博客
03-05 744
l1​WSN联合学习与每个任务相关联的子网络相关的模型权重和任务自适应二进制掩码，同时尝试通过重用之前子网络的权重来选择要激活的一小组权重（获胜票），每张中奖彩票产生的二进制掩码被编码为一个N位二进制数字掩码，然后使用霍夫曼编码进行压缩，以实现网络容量相对于任务数量的亚线性增长与图1a基于修剪的CL方法不同，该方法在预先训练的主干网络中获得特定于任务的子网络，我们。为了在模型学习新任务时允许前向转移，我们将学习到的，但有选择地，而不是使用所有权重（图1b），这可能会导致有偏的转移。
web-service:Raki音乐应用程序的Web服务
05-22
＃Raki音乐应用程序Web服务Raki Music Android应用程序已发布。 您可以从此链接访问它。 Web服务开发过程中使用了Spring库，而ORM使用了Hibernate。 如果这是您的第一次或正在考虑对Spring和Hibernate感兴趣。 查看...
NLP论文多个领域经典、顶会、必读整理分享及相关解读博客分享
qq_42189083的博客
05-29 2908
持续更新收集*** 1、Bert系列 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding - NAACL 2019) ERNIE 2.0: A Continual Pre-training Framework for Language Understanding - arXiv 2019) StructBERT: Incorporating Language Structures into
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
动手学深度学习（Pytorch版）代码实践 -循环神经网络-55循环神经网络的从零开始实现和简洁实现
李思成的博客
07-06 575
【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-54~55循环神经网络的从零开始实现和简洁实现。
深度学习中的超参数及超参数搜索算法
最新发布
qlkaicx的博客
07-08 258
在深度学习中，超参数（Hyperparameters）是指在训练模型时需要预先设置的参数，它们不会在训练过程中自动更新，而是通过手动调整来优化模型的性能。超参数的设置对模型的训练效果有着至关重要的影响。
第16周：LSTM-火灾温度预测
weixin_46620278的博客
07-05 889
🍨 本文为[🔗365天深度学习训练营](https://mp.weixin.qq.com/s/0dvHCaOoFnW8SCp3JpzKxg) 中的学习记录博客🍖 原作者：[K同学啊](https://mtyjkh.blog.csdn.net/)说在前面本周目标：对时序数据进行预测，了解LSTM是什么，并使用其构建一个完整的程序，并使最后的决定系数R^2达到0.83；拔高目标——使用第1~8个时刻的数据预测第9~10个时刻的温度数据。
Towards Deep Learning Models Resistant to Adversarial Attacks
一季南凉的博客
07-06 223
探讨了当前对抗攻击防御研究中的挑战，如计算开销、对抗样本的多样性和防御方法的泛化能力等。并提出了未来研究的方向，如开发更高效的防御算法、提升模型的可解释性和透明性等。：重点讨论了几种防御对抗攻击的方法，包括对抗训练、梯度掩蔽和模型集成等。总的来说，这篇论文综述了当前深度学习模型在面对对抗攻击时的脆弱性，并介绍了不同的防御策略及其效果，为未来开发更鲁棒的深度学习模型提供了理论基础和实践指导。：介绍了评估模型对抗攻击鲁棒性的方法和标准，如准确率曲线、失效率和对抗容忍度等。这篇论文的主要内容是关于。
深度学习 - 模型的保存与部署方式汇总
weixin_47552266的博客
07-06 1188
PyTorch 的默认保存格式，灵活支持保存整个模型、模型的权重和优化器状态。
动手学深度学习（Pytorch版）代码实践 -循环神经网络-51序列模型
李思成的博客
07-06 331
【代码】动手学深度学习（Pytorch版）代码实践 -循环神经网络-51序列模型。
深度学习（笔记内容）
2301_78488802的博客
07-08 148
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/pip install -i https://pypi.mirrors.ustc.edu.cn/simple/pip install -i http://mirrors.aliyun.com/pypi/simple/pip install -i https://pypi.douban.com/simple/pip使用阿里云的镜像源。pip使用清华源镜像源。
阶段总结——基于深度学习的三叶青图像识别
2301_78630677的博客
07-05 786
阶段总结——基于深度学习的三叶青图像识别。
[深度学习]卷积理解
qq_43235540的博客
07-05 312
当输入有多个通道时,卷积核需要拥有相同的通道数. 假设输入有c个通道,那么卷积核的每个通道分别于相应的输入数据通道进行卷积,然后将得到的特征图对应元素相加,最终输出一个单通道的特征图, 它的数学表达式如下图所示.一个卷积核对应输入图像某一个特征,理论上卷积核数量越多,能够提取的特征越丰富.看这个的可视化就很好理解了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值