TPAMI 2024|用于持续学习的基于广义差异的分布稳健记忆演化

最新推荐文章于 2024-11-12 19:12:37 发布
最新推荐文章于 2024-11-12 19:12:37 发布
阅读量4k 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 深度学习 TPAMI 论文解读 顶刊论文 IEEE
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/140963014
版权
论文解读 IEEE TPAMI 专栏收录该内容
303 篇文章 21 订阅 ¥59.90 ¥99.00
订阅专栏

Distributionally Robust Memory Evolution With Generalized Divergence for Continual Learning

用于持续学习的基于广义差异的分布稳健记忆演化

Zhenyi Wang o, Li Shen , Tiehang Duan , Qiuling Suo o, Le Fang , Wei Liu ，Mingchen Gao

摘要

持续学习（Continual Learning, CL）的目标是在非静态数据分布上学习，同时不忘记先前的知识。现有依赖于记忆重放的方法，随着模型趋于过度拟合存储的示例，其有效性会随时间降低。结果，模型泛化能力受到显著限制。此外，这些方法经常忽视记忆数据分布的固有不确定性，这与之前所有数据示例的分布有显著差异。为了克服这些问题，我们提出了一个原则性的记忆演化框架，通过分布式鲁棒优化（Distributionally Robust Optimization, DRO）动态调整记忆数据分布，使记忆缓冲区越来越难以记忆。我们考虑了DRO中的两种约束：f-散度和Wasserste

了解本专栏 订阅专栏 解锁全文
小白学视觉
关注
专栏目录
订阅专栏
TPAMI 2024 | Box2Mask: 基于包围盒的实例分割算法
小白学视觉
08-19 467
与使用像素级掩码标签的全监督方法不同，基于包围盒注释的实例分割利用简单的框注释，最近吸引了越来越多的研究关注。本文提出了一种新颖的单次实例分割方法，即Box2Mask，它将经典水平集演化模型整合到深度神经网络学习中，仅使用包围盒监督就能实现精确的掩码预测。具体来说，输入图像及其深度特征被用来隐式地演化水平集曲线，并且使用基于像素亲和核的局部一致性模块来挖掘局部上下文和空间关系。
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 1090
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
TPAMI 2024 | 基于GPR和模型空间学习的地下诊断
小白学视觉
07-01 977
地面穿透雷达（GPR）已广泛应用于管道检测和地下诊断。在实际应用中，通常在完全分析获得的GPR数据之前，很少了解被检测区域的GPR数据特征和可能存在的地下异常结构，这导致了自动识别地下结构或异常的挑战。在本文中，提出了一种基于模型空间学习的GPR B扫描图像诊断方法。模型空间学习的思想是使用在数据部分拟合的模型作为数据更稳定和更简洁的表示。对于GPR图像，提出了2方向回声状态网络（2D-ESN），通过下一项预测拟合图像段。
TPAMI 2024 | PathNet: 基于路径选择的点云去噪
小白学视觉
07-29 699
当前的点云去噪(PCD)模型优化单一网络，试图使其参数适应于大量点云池中的每个点。这种去噪网络范式忽略了不同点通常受到不同程度的噪声干扰，并且它们可能传达不同的几何结构。因此，噪声和几何的复杂性带来了包括残留噪声、错误平滑的边缘和去噪后形状扭曲等副作用。我们提出了PathNet，一种基于强化学习(RL)的路径选择性PCD范式。与现有工作不同，PathNet能够动态选择每个点最合适的去噪路径，最佳地将其移动到其底层表面上。除了首次提出路径选择性PCD框架外，我们还有另外两个贡献。
TPAMI 2024 | P2T：用于场景理解的金字塔池化Transformer
小白学视觉
08-19 643
最近，视觉Transformer通过推动各种视觉任务的最前沿取得了巨大成功。视觉Transformer面临的最大挑战之一是图像标记的大序列长度导致高计算成本（二次复杂度）。解决这个问题的一个流行方法是使用单个池化操作来减少序列长度。本文考虑了如何改进现有的视觉Transformer，其中通过单个池化操作提取的池化特征似乎不够强大。为此，我们注意到金字塔池化由于其在上下文抽象方面的强能力，在各种视觉任务中已被证明是有效的。然而，金字塔池化尚未在主干网络设计中被探索。
TPAMI 2024 | Diversify：一种时间序列分布外检测和泛化的通用框架
小白学视觉
07-29 1223
题目：Diversify: A General Framework for Time Series Out-of-Distribution Detection and Generalization Diversify：一种时间序列分布外检测和泛化的通用框架 作者：W. Lu; J. Wang; X. Sun; Y. Chen; X. Ji; Q. Yang; X. Xie 摘要 时间序列仍然是机器学习研究中最具挑战性的模态之一。时间序列的分布外（OOD）检测和泛化常常由于其非平稳性质而面临困难，即分布随时
TPAMI 2024 | CrossFormer++: 基于跨尺度注意力的多功能视觉Transformer
小白学视觉
07-05 1516
虽然不同尺度的特征在视觉输入中具有感知重要性，但现有的视觉Transformer尚未显式利用这些特征。为此，我们首先提出了一种跨尺度视觉Transformer，即CrossFormer。它引入了跨尺度嵌入层（CEL）和长短距离注意力（LSDA）。一方面，CEL将每个标记与不同尺度的多个补丁混合，为自注意力模块本身提供跨尺度特征。另一方面，LSDA将自注意力模块分为短距离和长距离部分，这不仅减少了计算负担，还保留了标记中的小尺度和大尺度特征。
TPAMI 2024 | 全新框架！深度学习可解释度量学习！
07-30 677
在本文中，我们提出了一种新的框架，名为DIML，以实现更可解释的深度度量学习。与传统的深度度量学习方法仅给出两张图像之间的全局相似性不同，DIML通过多个局部部分相似性的加权和来计算整体相似性，使人类更容易理解模型区分两张图像的机制。具体而言，我们提出了一种结构匹配策略，通过计算两张图像的特征图之间的最优匹配流，显式地对齐空间embedding。我们还设计了一种多尺度匹配策略，它考虑了全局和局部相似性，并可以显著降低图像检索应用中的计算成本。
TPAMI 2024 | 通过消除法检测道路障碍物
小白学视觉
07-31 1444
车辆在道路上可能会遇到无数的障碍物，而且事先记录下它们以训练一个检测器是不可能的。相反，我们选择图像块，并使用周围的道路纹理进行填充，这倾向于从这些块中移除障碍物。然后，我们使用一个训练有素的网络来识别原始块和填充后的块之间的差异，这标志着擦除了一个障碍物。
TPAMI 2024 | 用于主动目标检测的多实例差异化学习
小白学视觉
11-12 230
尽管图像识别的主动学习取得了实质性进展，但缺乏对目标检测中实例级主动学习的系统研究。在本文中，我们提出了一种将实例不确定性计算与图像不确定性估计统一起来的方法，用于信息图像选择，创建了一种用于实例级主动学习的多实例差异化学习（MIDL）方法。MIDL包括一个分类器预测差异化模块和一个多实例差异化模块。前者利用两个对抗性实例分类器在标记集和未标记集上进行训练，以估计未标记集的实例不确定性。后者将未标记图像视为实例包，并使用多实例学习方式中的实例分类模型重新估计图像-实例不确定性。
TPAMI 2024 | 跨图像像素对比的语义分割方法
小白学视觉
09-04 623
本文研究了图像语义分割问题。现有方法主要关注于挖掘“局部”上下文，即通过特别设计上下文聚合模块（例如，扩张卷积、神经注意力）或结构感知优化目标（例如，IoU损失）在单个图像内部像素之间的依赖关系。然而，它们忽略了训练数据的“全局”上下文，即不同图像中像素之间丰富的语义关系。受到无监督对比表示学习最新进展的启发，我们提出了一种像素级对比算法，称为PiCo，用于完全监督学习环境中的语义分割。核心思想是强制同一语义类别的像素嵌入比不同类别的嵌入更相似。
深度学习之循环神经网络(RNN)
weixin_43775295的博客
11-12 378
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
CNN和MobileNetV2搭建的水果识别模型
chengxuyuanlaow的博客
11-09 712
在本项目中着重探索了利用深度学习模型进行水果图像分类的方法。具体而言包括使用卷积神经网络（CNN）模型进行水果图片的分类和探索轻量级神经网络模型MobileNetV2在水果图像分类中的应用。在第一项任务中，使用TensorFlow构建了一个简单的CNN模型，并通过调整模型参数来提高准确率。在实验过程中发现由于数据集的问题，训练结果并不理想，测试集上的准确率低于预期，同时出现了过拟合的情况。针对这个问题，从优化器、学习率和训练轮次等方面入手，对模型进行了改进和调整。
[卷积神经网络]使用YOLOv11训练自己的模型
就随便写写....
11-08 681
使用YOLOv11训练自己的数据
每天五分钟深度学习PyTorch：基于全连接神经网络完成手写字体识别
huanfeng_AI的博客
11-09 277
上一节我们学习了搭建普通的全连接神经网络，我们现在用它来解决一个实际问题，我们用它跑一下手写字体识别的数据，然后看看它的效果如何。
生成模型——PixelRNN与PixelCNN
大摆王的博客
11-12 298
PixelRNN 是一种基于循环神经网络（RNN）的像素级生成模型，通过逐个像素地生成图像来构建完整的图像，其核心思想是将图像中的像素视为序列，并利用 RNN 的能力来捕捉像素之间的依赖关系。PixelCNN 是一种基于卷积神经网络（CNN）的像素级生成模型，它使用掩码卷积来捕捉像素之间的依赖关系。
深度学习经典模型之VGGNet
weixin_43775295的博客
11-08 474
​ VGGNet是由牛津大学视觉几何小组（Visual Geometry Group, VGG）提出的一种深层卷积网络结构，他们以7.32%的错误率赢得了2014年ILSVRC分类任务的亚军（冠军由GoogLeNet以6.65%的错误率夺得）和25.32%的错误率夺得定位任务（Localization）的第一名（GoogLeNet错误率为26.44%）5^{[5]}5，网络名称VGGNet取自该小组名缩写。VGGNet是首批把图像分类的错误率降低到10%以内模型，同时该网络所采用的3×3。
《深度学习》——深度学习基础知识（全连接神经网络）
qq_59702185的博客
11-07 1043
在介绍神经网络之前，我们先看下面这幅图：人工智能>机器学习>深度学习深度学习是机器学习的⼀个⼦集，也就是说深度学习是实现机器学习的⼀种⽅法。与机器学习算法的主要区别如下图所示：传统机器学习依赖于人工设计特征，并进行特征提取，而深度学习算法不需要人工，而是依赖算法自动提取特征，这也是深度学习被看做黑盒子、可解释性差的原因。卷积神经网络（CNN）循环神经网络（RNN）生成对抗网络（GAN）深度强化网络（DRN）
机器学习、深度学习面试知识点汇总
最新发布
11-12 170
本人在面试中整理的资料和文字，主要针对机器学习、深度学习面试八股做浅显的总结，共20余篇，大部分来源于ChatGPT，欢迎各位指正。 文章系列图像使用动漫《星游记》插图。
IEEE TPAMI 用于缺陷检测的期刊
04-05
IEEE TPAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）是一个涵盖模式识别、计算机视觉、图像处理和机器学习等领域的高质量期刊，其中也包括用于缺陷检测的研究。 以下是一些在IEEE TPAMI期刊上发表的用于缺陷检测的论文： 1. "Automatic Defect Detection in X-Ray Images Using Convolutional Neural Networks"（使用卷积神经网络自动检测X射线图像中的缺陷）-- 该论文提出了一种基于卷积神经网络（CNN）的自动缺陷检测方法，该方法可以应用于各种类型的X射线图像中的缺陷检测。 2. "Unsupervised Defect Detection in Textured Materials Using Convolutional Autoencoders"（使用卷积自动编码器在纹理材料中进行无监督缺陷检测）-- 该论文提出了一种基于卷积自动编码器（CAE）的无监督缺陷检测方法，该方法可以有效地检测纹理材料中的缺陷。 3. "A Hierarchical Approach to Defect Detection in Semiconductor Wafer Images"（半导体晶圆图像缺陷检测的分层方法）-- 该论文提出了一种基于分层方法的缺陷检测方法，可以应用于半导体晶圆图像中的缺陷检测。 4. "Deep Learning-Based Defect Detection in Semiconductor Manufacturing"（基于深度学习的半导体制造中的缺陷检测）-- 该论文提出了一种基于深度学习的缺陷检测方法，可以应用于半导体制造中的缺陷检测，并且在实验中取得了良好的结果。 这些论文都展示了IEEE TPAMI作为一个重要的期刊，提供了广泛的研究和应用领域，包括缺陷检测。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值