深度学习基础13（三种常见loss函数的优劣）

已于 2024-03-14 11:02:50 修改
阅读量2.4k 收藏 3
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习 python 经验分享 神经网络
于 2022-03-28 15:27:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lj_FLR/article/details/123796494
版权
本文介绍了深度学习中常见的三种损失函数——L2 Loss, L1 Loss和Huber's Robust Loss。L2 Loss在预测值与真实值接近时梯度较大，可能导致过拟合；L1 Loss则在远离真实值时梯度恒定，增加稳定性但0点不可导；而Huber Loss结合两者优点，兼顾稳定性与平滑性。" 131930054,213016,C语言中的#include命令详解,"['c语言', '开发语言', '预处理']
摘要由CSDN通过智能技术生成

损失函数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DHhgiQeE-1648452137828)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image)]YBD7EN93{GJ1TIE79}WJ1E.png)

损失函数用来衡量预测值和真实值之间的区别

下面介绍三个常用的损失函数

L2 Loss（均方损失）

09D{2HWQ263XU`WLTRZ749N

除以2的意思是说在求导的时候2和1/2可以抵消
下面所有图的横坐标就是预测值与真实值的差

S9N$OO73S9}QHKP2QA2W

上图是这个损失函数的特性：

蓝色的曲线：损失函数的曲线

绿色的曲线：是它的似然函数，可以看出它的似然函数是一个高斯分布

橙色的曲线：表示损失函数的梯度

L1 Loss （绝对值损失函数）

最低0.47元/天 解锁文章
NDNPOMDFLR
关注
专栏目录
PR曲线、Loss曲线代码（用python把txt文件中的数据提取出来画线）
05-28
PR曲线是指精度（Precision）和召回率（Recall）之间的关系曲线，它是用于评估信息检索系统、文本分类系统等的性能的一种常用方法。在PR曲线中，横轴表示召回率，纵轴表示精度，曲线上每一点的坐标表示在该召回率下的最大精度。通常情况下，PR曲线是一个递增的曲线，表示随着召回率的增加，系统的精度也会相应地增加。在信息检索领域中，PR曲线是评估系统性能的重要指标之一。 loss曲线是指训练神经网络时，损失函数（loss function）在每个训练批次（batch）或每个训练周期（epoch）的取值变化情况。通常来说，随着模型的训练，损失函数的取值会逐渐减小，表示模型在训练数据上的拟合效果越来越好。通过观察loss曲线，我们可以了解模型的训练情况，并作出调整，以达到更好的性能。
深度学习：根据 loss曲线，对模型调参
weixin_46969441的博客
11-01 1万+
深度学习模型调参笔记 train loss 下降，val loss下降，说明网络仍在学习； 奈斯，继续训练 train loss 下降，val loss上升，说明网络开始过拟合了；赶紧停止，然后数据增强、正则 train loss 不变，val loss不变，说明学习遇到瓶颈；调小学习率或批量数目 train loss 不变，val loss下降，说明数据集100%有问题；检查数据集标注有没有问题 train loss 上升，val loss上升，说明网络结构设计不当，训练超参数设置不当，数据集经过清洗等问
【纯干货级教程】深度学习根据loss曲线进行分析调参
最新发布
2401_84870184的博客
06-16 4030
以YOLOv5/YOLOv7示例展示深度学习的目标检测算法在输出的文件中的loss曲线变化规律的一般情况的分析总结，并用以调整自己的模型、调参等。
Python绘制loss曲线、准确率曲线
热门推荐
WYKB_Mr_Q的博客
07-07 5万+
使用 python 绘制网络训练过程中的的 loss 曲线以及准确率变化曲线，这里的主要思想就时先把想要的损失值以及准确率值保存下来，保存到 .txt 文件中，待网络训练结束，我们再拿这存储的数据绘制各种曲线。其大致步骤为：数据读取与存储 - > loss曲线绘制 - > 准确率曲线绘制我们首先要得到训练时的数据，以损失值为例，网络每迭代一次都会产生相应的 loss，那么我们就把每一次的损失值都存储下来，存储到列表，保存到 .txt 文件中。保存的文件如下图所示： 上图为部分损失值，根据迭代次数而异，要是迭
accuracy和loss曲线怎么看
2301_77363252的博客
11-09 6001
总之，对于一个优秀的深度学习模型来说，其Accuracy曲线和Loss曲线应该比较光滑，随着训练数的增加而趋于稳定，同时也需要考虑模型的泛化能力，即模型在测试集上的表现。此外，我们还需要注意的是，在训练过程中，我们往往会使用验证集来评估模型的准确率，因此在绘制Accuracy曲线时，不仅需要考虑模型在训练集上的表现，还需要同时考虑模型在验证集上的表现。需要注意的是，在训练过程中，我们的目标是通过最小化失函数来优化模型的参数，因此在绘制Lss曲线时，我们通常使用训练集上的损失函数值来绘制。
《深度学习——实战caffe》——绘制loss和accuracy曲线
IT人生
06-10 3367
如果不需要绘制曲线，只需要训练出一个caffemodel, 直接调用solver.solve()就可以了。如果要绘制曲线，就需要把迭代过程中的值保存下来，因此不能直接调用solver.solve(), 需要迭代。在迭代过程中，每迭代200次测试一次#加载必要的库 import numpy as np import matplotlib.pyplot as plt #matplotlib inl...
深度学习loss函数优化
11-06
在深度学习中，损失函数（Loss Function）扮演着至关重要的角色，它衡量了模型预测结果与实际数据之间的差异。优化损失函数是提高模型性能的关键步骤。下面将详细介绍几种常见的损失函数以及它们的应用场景。 1. ...
NVIDIA DLI 深度学习基础 答案（领取证书用）
09-15
### NVIDIA DLI深度学习基础知识点解析 #### 一、NVIDIA DLI简介 NVIDIA Deep Learning Institute (DLI) 是一个提供深度学习、加速计算以及AI领域的培训与认证的平台。通过NVIDIA DLI的学习资源，学员能够掌握如何...
深度学习损失函数原理分析（三） 深度学习原理.pdf
04-13
本文主要介绍三种常用的深度学习损失函数：BCELoss、BCEWithLogitsLoss和HingeEmbeddingLoss。 1. BCELoss BCELoss是二分类交叉熵损失函数，主要用于二分类问题。其公式为： L(y, y^) = -[y\*log(y^) + (1-y)\*...
深度学习 loss
10-12
### 深度学习中的损失函数详解 ...以上介绍的几种损失函数都是深度学习中常用的损失函数类型，它们各自有着不同的应用场景和特点。在选择合适的损失函数时，需要根据具体问题的需求和数据特性来进行决策。
Center-Loss-基于Pytorch实现Center-Loss损失函数-附项目源码.zip
05-28
本项目重点探讨了一种特殊的损失函数——Center Loss，它在人脸识别等领域的特征学习中有着广泛的应用。Center Loss是为了解决深度学习模型在大规模类别识别中出现的类别间特征分布混乱的问题而提出的。现在，我们将...
（Python可视化）使用matplotlib.pyplot绘制神经网络模型的acc(准确率)和loss(损失值)曲线图
weixin_64388392的博客
11-17 1万+
plt.plot()函数基本参数解析，使用matplotlib.pyplot绘制神经网络模型的acc(准确率)和loss(损失值)曲线图
深度学习绘制loss曲线之visdom远程连接服务器（此时显示8097网址打不开）：使用visdom查看服务器上的模型loss曲线教程（pycharm版）
m0_59495372的博客
05-16 1041
深度学习绘制loss曲线之visdom远程连接服务器（此时显示8097网址打不开）：使用visdom查看服务器上的模型loss曲线教程（pycharm版）
loss曲线分析
东方佑
12-19 1万+
过拟合欠拟合
【深度学习-LOSS】loss曲线的各种情况对应解决办法
fantianning的博客
04-20 6542
“loss的各种情况”【基础情况】 train loss test loss 情况 解决办法 下降 下降 网络仍在学习（????） 增加EPOCH直到不再下降 下降 下降 网络过拟合（????） 减小层中units数 / 减小层数 / 简化网络结构 不变 下降 数据集有问题（????） 检查数据集 不变 不变 学习遇到瓶颈（????） 减小学习率 / 减小BATCH SIZE 【补充情况】 train loss test loss 情况 解决办法 下降 波动下
判断深度学习的效果好坏loss和val_loss比较
weixin_44472627的博客
07-25 8887
loss是训练集的损失值，val_loss是测试集的损失值 以下是loss与val_loss的变化反映出训练走向的规律总结： train loss 不断下降，test loss不断下降，说明网络仍在学习;（最好的） train loss 不断下降，test loss趋于不变，说明网络过拟合;（max pool或者正则化） train loss 趋于不变，test loss不断下降，说明数据集100%有问题;（检查dataset） train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，
深度学习参数对模型的影响：Loss(损失）、方差、Precision(精确度)、Recall（召回率
浅层阳光_DeepLearning
10-13 7310
损失、方差、precision_精确度、recall_召回率对模型的影响欢迎进入小太阳新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎进入小太阳 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你
损失函数
weixin_64304788的博客
05-28 1024
1.为什么需要损失函数 神经网络中的“学习”是指从训练数据中自动获取最优权重参数的过程。学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重参数。 2.常见的损失函数 1. 0-1损失函数(zero-one loss)：0-1损失是指预测值和目标值不相等为1， 否则为0 (1)0-1损失函数直接对应分类判断错误的个数，但是它是一个非凸函数，不太适用。 2. 对数损失函数 (1) log对数损失函数能非常好的表征概率分布，在很多场景尤其是多分类，如果需要知道结果属于每个类别的置信度，那它
深度学习损失函数解析：从Euclidean到Softmax Loss
本文将深入探讨深度学习中的几种损失函数，包括Multinomial Logarithmic Loss（多项式逻辑损失）、Euclidean Distance Loss（欧氏距离损失）、Sigmod Cross-Entropy Loss（Sigmoid交叉熵损失）以及Softmax Loss。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

NDNPOMDFLR

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值