1 loss是什么_样本混进了噪声怎么办？通过Loss分布把它们揪出来！

最新推荐文章于 2023-07-04 01:39:42 发布
最新推荐文章于 2023-07-04 01:39:42 发布
阅读量519 收藏 1
点赞数
文章标签： 1 loss是什么
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29761519/article/details/112618659
版权

LearnFromPapers系列——样本混进了噪声怎么办？通过Loss分布把它们揪出来！

作者：郭必扬
时间：2020.12.30

前言：今天继续分享一篇很有意思的文章，来自2019年ICML的“Unsupervised Label Noise Modeling and Loss Correction”，本文发现了一个“大家都知道但又不太确定”的现象——noisy样本的loss一般比较大，通过实验证实了这一点，并利用这个特点来定位noise从而排除这些noise的影响，来提高模型的性能。可以说是挺有趣了！

5b5b393580c1a8dbad4bb17387351f36.png
  • 论文标题：Unsupervised Label Noise Modeling and Loss Correction
  • 会议/期刊：ICML-19
  • 团队：Dublin City University (DCU)

一、本文的主要思想、贡献

  • 首先发现并证实了，神经网络在学习“随机的标签”或“错误的标签”（都可以称为噪音样本）的时候，会比学习“正确的标签”要慢，由此发现噪音样本在训练时的loss更大；
  • 通过对样本的loss distribution进行观察，作者发现可以使用一个Beta分布来刻画正常样本和噪音样本࿰
最低0.47元/天 解锁文章
我是郭杰瑞
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Unsupervised Label Noise Modeling and Loss Correction
qq2285580599的博客
08-14 1095
摘要 我们训练的CNN网络一般有这个性质，在面对有噪声的数据时，一般先拟合干净数据，再拟合噪声数据。 1.所以我们就可以得到一个混合分布，根据loss值来断定这个loss是属于clean-label还是noisy_label. 2.然后我们也可以根据迭代产生的新loss来修正这个分布。 3.并且我们还加入了一个混合增强模型能够更一步提高精度。 提出方法 一般的分类损失 噪声标签建模 如何判读一个损失是属于干净label的还是label的，我们有一...
文献阅读：Unsupervised Label Noise Modeling and Loss Correction
窝要芝士的博客
03-14 572
文献阅读：Unsupervised Label Noise Modeling and Loss Correction
Loss图、模型评估系数（均方误差等）的分析
最新发布
weixin_53355440的博客
07-04 1244
也就是说，该模型对训练集的拟合比较好，但在测试集、验证集上的表现比较差，即模型的泛化能力比较差。MSE的值越小，说明模型的预测值与真实值之间的差异越小，模型的性能越好。均方误差的值比较大，说明预测值与真实值之间的差异较大，模型的性能不是很好。决定系数的值接近9.5，说明该模型的拟合程度还行。均方根误差（RMSE）是观测值与真值偏差的平方和观测次数n比值的平方根，用来衡量观测值同真实值之间的偏差，其值越小，表示预测精度越高。R2的值一般为[0-1]之间的值，越靠近1说明拟合得越好，而越靠近0说明拟合得越差。
深度学习参数对模型的影响：Loss(损失）、方差、Precision(精确度)、Recall（召回率
浅层阳光_DeepLearning
10-13 7156
损失、方差、precision_精确度、recall_召回率对模型的影响欢迎进入小太阳新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎进入小太阳 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你
浅谈keras中loss与val_loss的关系
09-16
如果你的损失函数需要额外的输入，如上面代码中的`custom_loss_wrapper`，可以通过包装损失函数并传递额外的输入张量来实现。 `fit_generator`方法允许你使用生成器进行训练，这对于处理大量数据时能有效节省内存。...
path_loss_and_shadowing.rar_loss_path loss_wireless channel_信道衰落
07-15
详细直观介绍了无线信道的各种衰落阴影的影响与原因，并做了比较
keras中epoch,batch,loss,val_loss用法说明
09-16
本文将深入解析Keras中的一些关键概念：epoch、batch、loss以及val_loss，并讨论它们在训练过程中的作用。 1. **epoch** - **定义**：一个epoch是指在训练过程中，神经网络完整地遍历一次数据集的过程。在这个过程...
f1.rar_-_The Program_pathloss_pathloss model
07-14
标题中的“f1.rar_-_The Program_pathloss_pathloss model”暗示了我们正在处理一个名为“f1.rar”的压缩文件，其中包含一个与路径损耗（Pathloss）模型相关的程序。路径损耗是无线通信中一个关键的概念，它描述了...
keras 自定义loss model.add_loss的使用详解
09-16
最后，通过 `model.add_loss(loss1)` 将这个损失函数作为模型的优化目标。 第二种方法是直接在 `model.compile` 时指定自定义损失，这适用于损失函数只依赖于模型的单个输出的情况。例如： ```python x_in = KL....
Noise-label-generation-and-relabeling:在给定噪声率的情况下为数据集生成噪声标签，并使用重新标记算法对这些噪声标签进行重新标记
04-14
噪声标签生成和重新标记 在给定噪声率的情况下为数据集生成噪声标签，并使用重新标记算法对这些噪声标签进行重新标记 f1.test.py为all_tickets.csv数据集生成嘈杂的标签，使用“ body”作为特征，使用“ urgency”和“ ticket_type”作为预测标签。 我们假设'紧急'标签可能有一些嘈杂的标签，所以我们在'紧急'上添加了噪音。我们将48000数据拆分为火车数据集，将左侧的数据拆分为测试数据。在为'紧急'生成嘈杂标签's'之后，我们将' body。，'ticket_type'和's'到train_data.csv。在category.py中，我们生成重新标记的标签'relabel'并将其写入relabel.csv文件。除了门票数据集之外，我们还测试了其他数据集。 资料集 文件 结果文件夹 all_tickets.csv test.py 票 情绪训练 tes
深度学习基础（三）loss函数
u010554381的博客
03-13 2万+
loss函数，即损失函数，是决定网络学习质量的关键。若网络结构不变的前提下，损失函数选择不当会导致模型精度差等后果。若有错误，敬请指正，Thank you！ 目录 一、loss函数定义 二、常见的loss算法种类 1.MSE(均值平方差) 2.交叉熵 三、总结 四、tensorflow相应函数 1.MSE 2.交叉熵 一、loss函数定义 loss函数的作用就是描述模...
分类问题中loss 和accuracy区别
ruoruoruo666的博客
11-25 3281
accuracy 在分类问题最常看的指标就是accuracy，它的计算公式一般是由预测正确的样本数/总样本数。但是accuracy本身是个不可导的方程。 在分类任务中，对于一个N类任务，输出就是一个N维的向量，向量每一个位置就代表了一种类别，对应位置的值就代表预测的目标属于该类的概率，对于猫狗的分类，输出向量为[0.2, 0.8],就表示输入的图属于猫的概率为0.2，属于狗的为0.8。在输出预测结果时，我们是取概率最大的索引所对应的的标签作为最终预测的结果标签，在以上的例子中由于狗的概率大于猫，预测输出：
【神经网络深度学习】--常见损失函数
TU商的博客
10-25 1809
(2)一般的 f(x) 是预测值，在-1到1之间， y 是目标值(-1或1)。其含义是， f(x) 的值在-1和+1之间就可以了，并不鼓励 |f(x)|>1 ，即并不鼓励分类器过度自信，让某个正确分类的样本距离分割线超过1并不会有任何奖励，从而。因为sigmoid的性质，导致 σ′(x) 在 z 取大部分值时会很小（如下图标出来的两端，几乎接近于平坦），这样会使得 η(a−y)σ′(z) 很小，导致参数 w 和 b 更新非常慢。的本质就是衡量在某个参数下，整体的估计和真实的情况一样的概率，越大代表越相近。
深度学习剖根问底：各种Loss大总结
BigCowPeking
09-08 8848
1. 指数损失函数（Adaboost） 学过Adaboost算法的人都知道，它是前向分步加法算法的特例，是一个加和模型，损失函数就是指数函数。在Adaboost中，经过m此迭代之后，可以得到fm(x): Adaboost每次迭代时的目的是为了找到最小化下列式子时的参数α和G： 而指数损失函数(exp-loss）的标准形式如下 可以看出，Adaboost的目标式子就是指数损失，在...
loss曲线分析
东方佑
12-19 9978
过拟合欠拟合
记录模型训练时loss值的变化
orangefly0214的博客
10-15 1万+
记录训练过程中的每一步的loss变化 if verbose and step % verbose == 0: sys.stdout.write('\r{} / {} : loss = {}'.format( step, total_steps, np.mean(total_loss))) sys.stdout.flus...
训练模型中损失（loss）异常分析
热门推荐
github_38052581的博客
02-27 4万+
前言 训练模型过程中随时都要注意目标函数值(loss)的大小变化。一个正常的模型loss应该随训练轮数（epoch）的增加而缓慢下降，然后趋于稳定。虽然在模型训练的初始阶段，loss有可能会出现大幅度震荡变化，但是只要数据量充分，模型正确，训练的轮数足够长，模型最终会达到收敛状态，接近最优值或者找到了某个局部最优值。在模型实际训练过程中，可能会得到一些异常loss值，如loss等于nan；los...
对抗神经网络GAN中d_loss g_loss两种更新参数的图解释
halchan的博客
11-07 9810
如果先计算d_loss，在d_loss.backward()后会默认自动释放掉【real_img -> G -> fake_img -> D】这个计算图，但是在执行g_loss.backward()时需要【real_img -> G -> fake_img】这一段的计算图，所以会报告retain graph的错误，解决办法：g_loss.backward(reta...
loss = loss_g + loss_recon lambda越大会？
05-15
当 lambda 越大时，模型更加强调重建损失（loss_recon），而减少了生成损失（loss_g），因为 lambda 是用来控制两个损失函数在总损失中的比例的超参数。因此，当 lambda 值较大时，生成器更倾向于生成与原始数据相似但不够独创的样本，而不是真正新颖的样本。另一方面，当 lambda 值较小时，生成器更倾向于生成更多独创的样本，但这些样本可能与原始数据的相似度较低。因此，选择合适的 lambda 值取决于具体应用场景和需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值