带噪声数据的神经网络双温逻辑损失

最新推荐文章于 2024-09-02 19:44:16 发布
最新推荐文章于 2024-09-02 19:44:16 发布
阅读量1.5k 收藏 7
点赞数
分类专栏： 学术 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35435964/article/details/102646869
版权
谷歌提出双稳态逻辑损失函数，通过调整两个参数，有效降低噪声数据对训练结果的影响。该损失函数解决了逻辑损失函数对异常值敏感及错误标签影响边界问题，改善了神经网络在噪声数据集上的泛化性能。
摘要由CSDN通过智能技术生成

谷歌提出新分类损失函数：将噪声对训练结果影响降到最低
训练数据集里的标签通常不会都是正确的，比如图像分类，如果有人错误地把猫标记成狗，将会对训练结果造成不良的影响。

如何在不改变训练样本的情况下，尽可能降低这类噪声数据对机器学习模型的影响呢？

最近，谷歌提出了一个新的损失函数，解决了机器学习算法受噪声困扰的一大问题。

逻辑损失函数的问题

机器学习模型处理带噪声训练数据的能力，在很大程度上取决于训练过程中使用的损失函数。

通常我们用来训练图像分类的是逻辑损失函数（Logistic loss），但是它存在两大缺点，导致在处理带噪声的数据时存在以下不足：
在这里插入图片描述
**

谷歌提出新分类损失函数：将噪声对训练结果影响降到最低

**
1、远离的异常值会支配总体的损失

逻辑损失函数对异常值非常敏感。这是因为损失函数的没有上界，而错误的标记数据往往远离决策边界。
在这里插入图片描述

这就导致异常大的错误数值会拉伸决策边界，对训练的结果造成不良影响，并且可能会牺牲其他的正确样本。

2、错误的标签的影响会扩展到分类的边界上

神经网络的输出是一个矢量激活值，一般对于

最低0.47元/天 解锁文章
小胖仙
关注
专栏目录
snapmix与Bi-Tempered Logistic Loss（自制数据集纯度不高效果好）
慕云
09-14 385
1、软投票和硬投票 （0.1，0.2,0.4，0.3）3 （0.1，0.3,045，0.25）3 （0.3，0.5,0.1，0.1）2 硬投票：谁输出类多就谁，上例为3 软投票：每一类的概率输出值的平均值，哪个最大就是哪一类。 2、snapmix SnapMix 的思想很简单，既然在生成label 的时候，直接在原图中以被cut 掉的面积作为权重不合理，那作者就针对这一不合理作出了改进。 3、Bi-Tempered Logistic Loss 训练数据集里的标签通常不会都是正确的，比如图像分类，如果有人
【AI底层逻辑】——篇章6：人工神经网络（深度学习算法）
weixin_51658186的博客
08-03 4623
任何一项技术的发展都不会一帆风顺，深度学习的发展也经历了“三起两落”！①第一代神经网络——单层感知器（MP）模型，感知器模型实际就是将神经元模型中的激活函数作为符号函数，写成向量形式，即它简洁且功能强大，可以实现自我迭代，只要有足够数量的样本，感知器模型就能找到一组合适的权重。但存在一个致命缺陷——无法解决“异或”问题“，即意味着只能作线性分割任务，无法很好解决非线性问题！
bi-tempered-loss:基于Bregman散度的稳健的双脾逻辑损失。 https
05-15
双脾物流损失 这不是官方支持的Google产品。 该方法的概述在这里： 另外，探索交互式演示双向淬火后勤损失的实用属性。 双温逻辑损失是广义的softmax交叉熵损失函数，具有每个样本的有界损失值和重尾softmax概率函数。 双态损耗一般化（带有偏差校正项）： 张＆Sabuncu。 “用于训练带有噪声标签的深度神经网络的广义交叉熵损失。” 在NeurIPS 2018中。 当0.0 <= t1 <= 1.0且t2 = 1.0时恢复。 它还包括： 丁＆Vishwanathan。 “ t-Logistic回归”。 在NeurIPS 2010中。 当t1 = 1.0且t2> = 1.0时。 当t1 = t2 = 1.0时，双温损耗等于softmax交叉熵损耗。 对于0.0 <= t1 <1> 1.0，双调损耗提供了一种更强大的交叉熵损耗替代方案，用于处理标签噪声和离
神经网络调参训练集噪音比例对网络性能的影响
staple
03-15 3133
这次用于实验训练集噪音比例对网络性能的影响，网络结构81*60*2，训练集用的是mnist的训练集的0和1，测试集用的mnist的测试集的0和1，学习率固定位0.1，batchsize=20，试验了训练集噪音比例从0%,5%，10%，15%，20%，30%，40%，50%的网络,得到的结果: 网络结构 81*60*2 81*60*2 81*60*2 81*60
神经网络中的噪声是什么意思
最新发布
2302_79223724的博客
09-02 655
噪声通常是出现在“数据采集”的过程中的，且具有随机性和不可控性，比如采集用户数据的时候仪器产生的随机性偏差、或者在实验中受到其他不可控因素的干扰等。图中红色的靶心表示测试样本的真实标记，蓝色的点表示模型在不同训练集上选出的函数的输出。原文链接：https://blog.csdn.net/yawei_liu1688/articel/details/107790461。high bias and high variance：不准又不稳。low bias and low variance：又准又稳。
探索深度学习的新边界：双温sigmoid损失(Bi-Tempered Logistic Loss)
gitblog_00091的博客
06-14 364
探索深度学习的新边界：双温sigmoid损失(Bi-Tempered Logistic Loss) bi-tempered-loss项目地址:https://gitcode.com/gh_mirrors/bi/bi-tempered-loss 在这个快速发展的AI时代，每一个微小的创新都能引领一场技术革命。今天，我们要向您推介一个来自谷歌实验室的技术结晶——双温sigmoid损失（Bi-Temp...
Bi -Tempered Logistic Loss 使用嘈杂数据训练神经网络的双温度逻辑损失函数
qq_41917697的博客
05-08 1979
Bi -Tempered Logistic Loss 使用嘈杂数据训练神经网络的双温度逻辑损失函数前言问题方法效果计算方式 前言 机器学习（ML）算法生产的模型的质量直接取决于训练数据的质量，但现实世界的数据集通常包含一定量的噪音，训练数据集里的标签通常不会都是正确的，比如图像分类，如果有人错误地把猫标记成狗，将会对训练结果造成不良的影响。当然错误的标签也分明显的错误和不明显的错误，针对这个问题可以采用Bi -Tempered Logistic Loss来缓解错误标签带来的影响。 论文:《Robust B
神经网络有哪些基本功能,常见的神经网络有哪些
Supermen333的博客
08-30 2186
调智方法调智采用办调智班的形式集体接受调智，每天调一次，每次1-1.5小时，每8天为一期，一期可见效，3-6期效果最佳，具体方法和程序如下：1、调智身心态：接受调智者正坐在椅子上，双脚踏地与肩同宽，两手置放于双膝上，掌心向上，松肩垂肘，含胸拔背，下颌微微回收，全身放松，双眼微闭，两眉舒展，呼吸平稳如常，注意体会手掌心的感觉，心中想着保持以良好的心态，接受调智，接受增智信息。第六个调智实验阶段改进了调智方法，增加“80.8”量表的测试难度，使测试的效度、信度、准确率提高。大脑需调节身体的每一个部位。...
深度学习：卷积神经网络从入门到精通
热门推荐
GitChat
03-28 2万+
内容简介 全面介绍各种卷积神经网络的模型、算法及应用，指导读者把握其形成和演变的基本脉络，以帮助读者在较短的时间内从入门达到精通的水平。有兴趣的读者可以从本书开始，通过图像分类、识别、检测和分割的案例，逐步深入卷积神经网络的核心，掌握深度学习的方法和精髓，领会 AlphaGo 战胜人类世界冠军的奥秘。 作者简介 李玉鑑（鉴） 北京工业大学教授，博士生导师。华中理工大学（现名为华中科技大学）本科毕...
谷歌提出新型正则化方法，让深度神经网络克服大数据中的噪声
机器之心
12-17 1425
有老师指导就能更好地学习吗？对于深度神经网络是否也是如此？近日，谷歌和斯坦福大学的研究者的一篇论文提出了一种用 MentorNet 监督 StudentNet 进行训练的新技术。这项研究的第一作者是谷歌云机器学习的研究科学家蒋路（Lu Jiang），另外李佳和李飞飞也参与了该研究。 在目标识别 [19, 15, 39] 和检测
bitemperedloss-tf:Tensorflow 2.0 的简单 Bi Tempered Loss 实现
05-29
双调律损失-tf Tensorflow 2.0 的简单 Bi-Tempered Loss 实现 这不是官方支持的 Google 产品。 该方法的概述在这里： 原始仓库： : 改编自： : 论文：“基于 Bregman Divergences 的 Robust Bi-Tempered Logistic Loss”（ ） 要使用与原始存储库中的测试相似的值来测试损失函数，请运行以下文件： python test_loss.py 要求 张量流 >= 2.0 在 Tensorflow 中的使用 在 Tensorflow 中作为任何损失函数调用，例如： import tensorflow as tf from tf_bi_tempered_loss import BiTemperedLogisticLoss pretrained_model = tf.keras.appli
谷歌提出新分类损失函数：将噪声对训练结果影响降到最低
量子位
08-28 1253
晓查 发自 凹非寺量子位 报道 | 公众号 QbitAI训练数据集里的标签通常不会都是正确的，比如图像分类，如果有人错误地把猫标记成狗，将会对训练结果造成不良的影响。如...
基于pytorch的logistic回归从零开始实现
军魂的博客
05-08 1871
一、概要 搭建基于logistic模型的神经网络，完成对数据的二分类。本文将结合代码阐述搭建过程，最后给出完整代码以及运行结果。 二、神经网络搭建步骤 1、生成数据集 在这里插入代码片
标签平滑Label Smoothing
qq_41917697的博客
01-18 1451
标签平滑Label Smoothing前言Label Smoothing代码实现后续相关 前言 对于分类问题，lable常常是one-hot编码的，即[0,0,1,0,0]形式。全概率1和0鼓励所属类别和其他类别之间的差距尽可能加大，然而，在分类问题中不同种类的类别不一定完全没有相似的特征，不能这样一杆子打死。 对于我们常用的交叉熵损失函数，我们需要用预测分布q去拟合真实分布p，现在我们来看一下拟合one-hot的分布所带来的问题： 1)例如，输出为[0.1,0.7,0.1,0.1]，由于要使得Loss尽
COLING'22 | SelfMix：针对带噪数据集的半监督学习方法
zenRRan的博客
10-12 677
作者：丁誉洋标题：「SelfMix」: Robust Learning Against Textual Label Noise with Self-Mixup Training录取：COLING2022 Oral链接：https://arxiv.org/abs/2210.04525Github：「SelfMix & Baselines」: https://github.com/noise-...
神经网络中过拟合的原因和解决方法
白开水
04-01 7577
为了便于学习进行整理和记录，侵权删除 什么是过拟合？ 模型对训练集样本学的“太好”，没有尽可能学出适用于所有潜在样本的"普遍规律"，从而导致在出现新样本的时候不能够做出正确的判断。 过拟合的表现：模型在训练集上的误差很小，在测试集上误差很大 过拟合的危害？ 过拟合的模型是一种完全记忆性的模型，不能被一般化，没有应用价值。 也可看作是一个过度复杂的模型，这种模型往往会利用看似正确实则无用的关系，导致误判断。 “危害”： 男朋友没有及时回我消息à他一定是不喜欢我了 产生原因...
深度学习中的噪声数据该如何处理？
3D视觉工坊
09-21 5140
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达来自 | 知乎 作者 | 蒋路链接 |https://www.zhihu.com/people/roadjiang/posts...
Logistic Regression与Logistic Loss
qq_41917697的博客
01-17 936
Logistic Regression与Logistic Loss前言Logistic RegressionLogistic LossLogistic Loss与Cross Entropy Loss 前言 神经网络的输出通常为Z=wTx+b，为了后续分类，需要将编码Z转换为概率。因此需要满足两个条件：一是概率应该为0-1，二是分类的概率总和为1。 Logistic Regression Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题，Logistic函数（或称为
模糊神经网络在高噪音语音识别中的数据融合算法
与使用单一传感器的传统语音识别方法相比，模糊神经网络数据融合算法在高噪声环境下表现出更强的鲁棒性，显著提高了语音识别的准确率。这表明该方法对于提高语音识别系统在实际应用中的性能具有重要意义，尤其是在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值