TPAMI 2024 | 利用深度学习中的记忆效应进行噪声标签学习的方法探索

最新推荐文章于 2025-05-05 18:23:51 发布
最新推荐文章于 2025-05-05 18:23:51 发布
阅读量85 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 深度学习 人工智能 TPAMI IEEE 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/144315519
版权

论文信息

题目：Searching to Exploit Memorization Effect in Deep Learning with Noisy Labels
利用深度学习中的记忆效应进行噪声标签学习的方法探索
作者：Hansi Yang, Quanming Yao, Bo Han, James T. Kwok
源码链接：https://github.com/LARS-research/S2E

论文创新点

  1. 提出双层优化方法自动设计样本选择计划，利用记忆效应提高鲁棒性。
  2. 引入半监督学习算法处理噪声标签，提升模型泛化能力。
  3. 开发基于牛顿方法和立方正则化的优化算法，实现快速有效的搜索策略。

摘要

在噪声标签的鲁棒学习中，样本选择方法非常流行。然而，如何正确控制选择过程，以便深度网络能够从记忆效应中受益，这是一个难题。在本文中

了解本专栏 订阅专栏 解锁全文
TPAMI 2024 | 正则化损失与超参数估计在弱监督单类分割中的应用
小白学视觉
07-18 1228
Regularized Loss With Hyperparameter Estimation for Weakly Supervised Single Class Segmentation 正则化损失与超参数估计在弱监督单类分割中的应用 作者：Zongliang Ji; Olga Veksler 摘要 我们提出了一种新的图像级弱监督分割方法，适用于只含有单一感兴趣对象类别的数据集。我们的方法基于经典条件随机场（CRF）建模启发的正则化损失函数。我们的损失模型了通用对象的属性，并用它引导CNN朝向更可能对
TPAMI 2024|用于持续学习的基于广义差异的分布稳健记忆演化
小白学视觉
08-31 4188
Distributionally Robust Memory Evolution With Generalized Divergence for Continual Learning 用于持续学习的基于广义差异的分布稳健记忆演化 Zhenyi Wang o, Li Shen , Tiehang Duan , Qiuling Suo o, Le Fang , Wei Liu ，Mingchen Gao 摘要 持续学习（Continual Learning, CL）的目标是在非静态数据分布上学习，同时不忘记先
【文献阅读笔记】MMAnet：Margin-Aware Distillation and Modality-Aware Regularization for Incomplete Multimodal
m0_62111862的博客
02-17 929
特点传统统一模型MMANet 统一模型是否适应模态缺失？是是是否学习模态特定信息？否是（MAD 解决）是否能处理弱模态组合？否是（MAR 解决）是否需要多个模型？否否计算成本低低设计更智能的统一模型，同时学习模态不变信息和模态特定信息。在不同模态组合（强模态、弱模态）下都能保持较好的表现，弥补传统统一模型的不足。如果你想更深入了解 MMANet 的具体公式、实验结果或代码实现，可以告诉我，我可以进一步解析！
噪声标签学习（一）
麦田里的守望者
12-09 9326
噪声标签学习（一） 在有监督学习过程中，大量的准确标注的样本训练样本至关重要。但在实际应用过程中，标记数据往往需要大量的人力，物力财力。标注的数据质量某种程度上还受到人为主观因素的影响，导致实际获取的标注样本时常含有不定比例的标签噪声。然而，实验发现DNN在网络训练过程中，总是会学到标签噪声中的信息，对网络的性能带来干扰。为此，如何能够对标签噪声样本进行合理训练避免标签噪声对网络模型的训练带来干扰是近几年的又一个热门研究话题。 接下来将对了解到的几篇近期了解的相关方法进行一个概述： NIPS2018 ：Co
[论文阅读笔记58]Learning from Noisy Labels with Deep Neural Networks：A Survey
ld326的专栏
08-28 5700
1.题目 Learning from Noisy Labels with Deep Neural Networks: A Survey 作者团队：韩国科学技术院（KAIST） Song H , Kim M , Park D , et al. Learning from Noisy Labels with Deep Neural Networks: A Survey. 2020. 2. 摘要 重述问题：从监督学习的角度来描述使用标签噪声学习的问题； 方法回顾：对57种最先进的鲁棒训练方法进行了全
TPAMI 2024 | 通过网络参数加法分解处理噪声标签
小白学视觉
10-20 106
在带有噪声标签的数据中，过参数化的深度网络容易过拟合错误标签的数据，导致泛化性能差。深度网络的记忆效应表明，尽管网络能够记忆所有的噪声数据，但它们会首先记忆干净的训练数据，然后逐渐记忆错误的训练数据。一种利用记忆效应来应对噪声标签的简单有效的方法是早停法。然而，早停法无法区分对干净数据和错误数据的记忆，导致网络在训练的早期阶段仍然不可避免地过拟合错误数据。本文中，为了解耦干净数据和错误数据的记忆，并进一步减少错误数据的负面影响，我们对网络参数进行了加性分解。即，所有参数被加性分解为两组，即参数www。
TPAMI 2024 | 深度学习方法在标定光度立体渲染及其它领域的应用
小白学视觉
11-24 92
光度立体法通过多个不同阴影提示的图像来恢复物体的表面法线，即模拟每个像素点处表面方向与强度之间的关系。光度立体法在每个像素点的分辨率和精细重建细节方面具有优势。然而，由于非朗伯表面反射引起的非线性关系，这是一个复杂的问题。最近，各种基于深度学习方法在非朗伯表面光度立体法的背景下显示出了强大的能力。本文全面回顾了利用正交摄像机和方向光源的现有基于深度学习的校准光度立体法方法。我们首先从不同角度分析这些方法，包括输入处理、监督和网络架构。我们总结了深度学习光度立体模型在最广泛使用的基准数据集上的性能。
TPAMI 2024 | 一种针对实例依赖噪声标签的时间一致性学习课程
小白学视觉
08-11 176
许多机器学习算法被证明对于简单的实例独立噪声标签是脆弱的。然而，现实世界数据中的噪声标签由于更复杂的机制以实例依赖的方式产生，因此更具破坏性。在本文中，我们针对实例依赖噪声标签这一实际挑战，通过联合训练：(1) 一个反向工程模型，该模型产生清洁标签后验与观察到的噪声标签之间的实例依赖映射；(2) 一个鲁棒分类器，它产生清洁标签后验。与先前的方法相比，前者模型是新颖的，并且能够直接从噪声标签中端到端地学习后者。
TPAMI 2024 | PiCO+：用于鲁棒部分标签学习的对比标签消歧
小白学视觉
06-10 361
部分标签学习（Partial Label Learning, PLL）是一个重要的问题，它允许每个训练样本被标记为包含真实标签的粗略候选集。然而，在更实际但具有挑战性的场景中，注释者可能遗漏真实标签并提供错误的候选集，这被称为噪声PLL问题。为了解决这个问题，我们提出了PiCO+框架，该框架同时对候选集进行消歧和减轻标签噪声。PiCO+的核心是，我们开发了一种新颖的标签消歧算法PiCO，它由对比学习模块和新颖的基于类原型的消歧方法组成。
TPAMI 2024 | 点云分割领域自适应的组合语义混合
小白学视觉
09-11 440
当在不同传感器捕获或在变化环境中测试时，深度学习模型用于3D点云语义分割展现出有限的泛化能力，这是由于领域偏移所导致的。领域自适应方法可以用来减轻这种领域偏移，例如，通过模拟传感器噪声、开发领域不可知生成器或训练点云完成网络。通常，这些方法为范围视图图或需要多模态输入而量身定制。相比之下，图像领域的领域自适应可以通过样本混合来执行，这强调了输入数据的操作，而不是采用不同的自适应模块。在本研究中，我们引入了点云领域自适应的组合语义混合，这是第一个基于语义和几何样本混合的无监督领域自适应技术，用于点云分割。
在深度学习中，什么是线性插值（linear interpolation）？
weixin_44649780的博客
04-30 489
线性插值是寻找两个点之间中间值的最基础方法之一，广泛应用于：数值计算计算机图形学机器学习和深度学习它的标准公式是：x0,x1∈Rn：两个向量或标量t∈[0,1]：插值系数（0 表示完全靠近 x0，1 表示完全靠近 x1​）它对应的是两个点之间的一条线段轨迹。线性插值就是“在两个已知点之间，按一定比例找到中间点”的方法，无论是图像、特征、模型参数，它都可以用来“平滑地过渡”。📢 想要了解更多内容，可在VX小程序搜索🔍AI Pulse,获取更多最新内容。
远程深度学习新环境配置流程
weixin_45668967的博客
04-30 321
下载并安装适合你系统的 Miniconda 版本。
卷积神经网络实战（2）
weixin_55843921的博客
05-04 228
一开始conv1，第一层卷积层，去运算的时候，以前全连接的时候直接展平，现在是三维的，通道数是1（黑白照片），卷积的时候卷积核也是（1,3,3），但现在卷积核的尺寸实际上是立方体，虽然写的是2d，这是接口的这么一个设计，之所以是2d是因为在两个维度上进行移动（上下左右），不像以前的全连接是一维的必须展平。nn.MaxPool2d(2,2)，前面一个2代表池化核大小是2*2，后面的2代表步长。池化一次把图像尺寸减半。对于第二层卷积层，卷积核是(32,3,3)，这层的输入和输出的大小一样，作用是提取高层特征。
《解锁LibTorch：开启C++深度学习新征程》
zheng_ruiguo的专栏
04-30 703
LibTorch 作为 PyTorch 的 C++ 接口，凭借其独特的优势在深度学习领域占据了重要的一席之地。它不仅继承了 PyTorch 的动态计算图和自动求导机制，还充分发挥了 C++ 语言的高性能和低延迟特性，为深度学习的研究和应用提供了强大的支持。从功能特性上看，LibTorch 在张量操作、神经网络训练与推理、多平台支持以及与 Python 的互操作性等方面表现出色。其张量操作接口简洁高效，与 PyTorch 类似，方便开发者快速上手。
深度学习系统学习系列【3】之血液检测项目
缘友一世的博客
05-05 779
通过构建一个3 层的人工神经网络ANN模型对收集到的数据进行训练，得到该医疗数据的分类模型，最后利用新的医疗数据，预测其所属病理分类。
基于Python Flask的深度学习电影评论情感分析可视化系统（2.0升级版，附源码）
IT徐师兄
04-27 1359
基于Python Flask的深度学习电影评论情感分析可视化系统（2.0升级版），集成了Flask框架与先进的word2vec向量模型，能够自动解析影评文本的情感倾向，精准评估电影的好评与差评比例，并通过直观的可视化界面展示分析结果。该项目通过大数据技术分析海量影评，量化好评与差评的分布，为电影评论提供全面的汇总评价分析。
使用注意力机制的seq2seq
最新发布
weixin_73557167的博客
05-05 625
使用注意力机制的 seq2seq
Transformer数学推导——Q46 推导动态位置编码（Dynamic PE）的LSTM更新门控制公式
墨顿随笔
05-04 756
在序列数据处理领域，长短期记忆网络（LSTM）是一类特殊的循环神经网络（RNN），凭借其独特的门控机制有效解决了传统 RNN 在处理长序列时面临的梯度消失和梯度爆炸问题，在自然语言处理、时间序列预测等众多任务中表现出色。然而，传统 LSTM 在处理序列中的位置信息时存在一定局限性，难以充分捕捉位置相关的语义信息。动态位置编码（Dynamic PE）的提出旨在弥补这一不足，为 LSTM 提供更加灵活且自适应的位置表示方式。
深度学习论文阅读路线图详细指南
深度学习论文可以根据其主题进行分类，如卷积神经网络(CNN)、循环神经网络(RNN)、生成对抗网络(GAN)、深度强化学习、迁移学习等。每类主题下又有众多细分的研究方向和应用。 4. 学习资源路线： 路线图文件名为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值