- 博客(9)
- 收藏
- 关注
RSS订阅原创 [论文笔记06] Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels
challenge：最近对深度神经网络记忆效果的研究表明，它们会首先记住干净标签的训练数据，然后记住噪声标签的训练数据Co-teaching：同时训练两个DNNs，让它们在mini-batch下互相教导首先，每个网络前馈所有的数据，并选择一些可能是clean label的数据第二，两个网络相互通信，在这个小批量中应该使用哪些数据进行training最后，每个网络用peer网络认为的干净数据来反向传播并更新自己的参数。
2024-03-16 00:16:03
1234
1
原创 [代码阅读笔记01] MLNT
这行代码使用backward()函数对分类损失进行反向传播，计算梯度，并将梯度传播到模型的参数中。参数表示在计算梯度时，这样可以在后续的计算中重复使用计算图，而不需要重新计算。通常情况下，在调用一次backward()后，计算图会被释放，如果需要再次使用相同的计算图进行额外的计算或梯度更新，就需要将设置为True。
2024-03-11 00:03:42
357
1
原创 [论文笔记05] Learning to Learn from Noisy Labeled Data（MLNT）
本文提出了一个 noise-tolerant 训练算法，其中meta-learning update在常规的梯度更新之前(因为网络包含两部分loss，meta loss 的更新是在classification loss 之前的)。
2024-03-10 16:51:06
908
原创 [论文笔记04] Learning to Purify Noisy Labels via Meta Soft Label Corrector (MSLC)
现有方法的不足：当前校正损坏标签的方法通常需要某些预定义的标签校正规则或手动预设的超参数。这些固定的设置使其很难在实践中应用，因为准确的标签校正通常与具体问题、训练数据和隐藏在训练过程的动态迭代中的时间信息相关。提出的方法：提出了一种元学习模型，可以在无噪声元数据的指导下通过元梯度下降步骤来估计软标签。通过将标签校正过程视为元过程并使用元学习器自动校正标签，我们可以根据当前的训练问题迭代地自适应地获得校正后的软标签，而无需手动预设超参数。
2024-03-06 18:20:24
968
原创 [论文笔记03] Review–A Survey of Learning from Noisy Labels
在本次调查中，我们将现有的噪声标签学习工作总结为两个主要类别：损失校正和样本选择，并介绍它们的方法、常用的实验设置、数据集和最先进的结果。最后，我们讨论了一个有前途的研究方向，可能对未来的研究有价值。
2024-03-06 00:39:11
1019
1
原创 [论文笔记02] Meta Label Correction for Noisy Label Learning（MLC）
在本文中，我们通过将元学习框架中的问题作为标签修正问题来扩展这种方法。我们将标签校正过程视为一个元过程，并提出了一种新的基于元学习的框架MLC（元标签校正），用于有噪声标签的学习。
2024-03-05 00:08:20
1276
原创 论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier（DMLP）
我们构建一个标签校正网络（LCN）作为元模型。LCN被参数化为一个具有参数的函数，以纠正实例特征h(x)的弱标签y'为一个更准确的标签y。同时，我们旨在训练并用于训练后预测的主要模型，被实例化为另一个参数为w的函数。
2023-12-07 02:27:51
1045
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人