深度学习十五大损失函数汇总！魔改loss水论文新思路？

最新推荐文章于 2025-10-12 16:34:32 发布
转载 最新推荐文章于 2025-10-12 16:34:32 发布 · 25 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=MzU1MjY4MTA1MQ==&mid=2247735319&idx=4&sn=b7514ece0878687d42592f7234b4de66&chksm=fadbc77221478a0d1107d258d20258b649ecbcaaf290de2991221fd4ee27fafe3ac846cad6fb&scene=126&sessionid=0
文章标签：

#深度学习 #人工智能

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：K同学啊

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

图片

深度学习中的损失函数（Loss Function）是一个衡量预测结果与真实结果之间差异的函数，也称为误差函数。它通过计算模型的预测值与真实值之间的差值，来评估模型的性能。通常表示为，其值越小，表明模型的预测越接近真实值，从而模型的鲁棒性越好。

损失函数按任务类型分为回归损失和分类损失，分类损失主要处理离散型变量，常用Cross Entropy Loss等；回归损失主要处理连续型变量，常用MSE、MAE等。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉硬件，官网：www.3dcver.com

3D视觉学习圈子

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

3D视觉全栈学习课程：www.3dcver.com

3D视觉交流群成立啦，微信：cv3d001

添加微信：cv3d001，备注：方向+单位，邀你入3D视觉交流群！
【图像超分】论文复现：万字长文！Pytorch实现VDSR！血与泪的数据处理与训练过程总结！深度学习中的各种踩坑记录！适合各种深度学习新手！帮助你少走弯路！附PSNR最优的VDSR模型权重文件！
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-18 1万+
【图像超分】论文精读：Accurate Image Super-Resolution Using Very Deep Convolutional Networks (VDSR)请配合上述论文精读文章使用，效果更佳！本文综合现有的VDSR相关代码，用pytorch实现极简风格的VDSR，复现论文。
机器/深度学习模型最优化问题详解及优化算法汇总
master_hunter的博客
11-10 5464
其实最优化问题，从小学开始学习数学的时候就可以说已经接触到了，在我印象中有个问题，用一个平底锅煎饼，每次只能放2只饼，煎一只饼要2分钟（正反各用1分钟），煎三只饼要几分钟。这个问题其实已经可以归为最优化问题，我们实际计算出的时间，和真实最节省的时间不断对比去调整煎饼方案，得到时间花费最短的方案，得到最优解。其实这个问题将对象换一下，将煎饼时间换为损失函数，将煎饼换为训练模型，那这个问题就是最优化问题了。
深度学习基础--损失函数
wang6562009的专栏
08-30 2056
前三章分别介绍了线性回归、浅层神经网络和深度神经网络。这些都属于函数家族，能够实现从输入到输出的映射，其具体的函数取决于模型参数 ϕ\phiϕ。在训练这些模型时，我们的目标是找到能够为特定任务提供最优输入输出映射的参数。本章将详细阐述“最优映射”的含义。 要定义“最优映射”，首先需要一组训练数据集 {xi,yi}\{x_i, y_i\}{xi​,yi​}，即输入和输出的配对。损失函数（Loss Function）L[ϕ]L[\phi]L[ϕ] 能够返回一个数值，这个数值描述了模型预测 f(xi,ϕ)f(x_
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
2401_84204413的博客
10-19 1082
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。：生成领域的新贵，比如OpenAI的DALL·E 2和Google的Imagen，引领文本生成图像领域的新风向，效果令人惊艳，甚至引发了AI绘画与画师之争！，当时还在搞物理，买了数学之美看着玩儿，被这个经典算法狠狠的惊艳到了，简洁优雅，据说是Google早期崛起的大功臣。
Yolov7学习笔记（五）损失函数中的正样本匹配
Deen的博客
04-10 3610
假设有20类，则。
一文读懂Focal Loss及Pytorch代码(详细注释)
热门推荐
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-26 20万+
文章目录前言Focal Loss详解Pytorch实现总结 前言 Focal Loss及RetinaNet原理见另一篇文章：【论文精读】Focal Loss for Dense Object Detection（RetinaNet）全文翻译及重点总结 本文介绍Focal Loss以及其Pytorch实现。 Focal Loss详解 直接上公式： FL(pt)=−αt(1−pt)γlog(pt)FL(p_t)=-\alpha_t(1-p_t)^\gamma log(p_t)FL(pt​)=−αt​(1−pt
【深度学习之美】损失函数减肥用，神经网络调权重（入门系列之六）
玉来愈宏的随笔
06-18 4207
有人开玩笑说，男人有两大烦恼：一是把别人的肚子搞大了，二是把自己的肚子搞大了。对于后者，除了减（jian）肥（shen）,似乎别无他法。可你知道吗？这减肥背后的机理，和前馈神经网络利用损失函数，来反向调节各个神经元之间的连接权重，其实是一样一样的。为啥咧？
关于深度学习和大模型的基础认知
2401_84205765的博客
08-24 1133
关于什么是机器学习，李宏毅老师在其课程中说地很精辟，即机器学习 ≈ 机器自动找一个函数f( )函数（function）就是一个输入，返回一个输出。数学表示是y=f(x)，x是自变量，y是因变量。比如一片面包的卡路里是200卡，那么我摄入的能量和面包数量（x）之间的关系就是函数 y = 200x，200是参数，有了这个函数，我就能“预测”如果我吃了3片面包，会摄入600卡能量。在机器学习领域，**模型（model）和函数的意思等价所谓大模型，就是一个巨大的函数。
深入解析AdaBoost：指数损失函数与间隔理论的权重演化方程
zuiyuelong的博客
07-19 583
在机器学习领域，集成学习（Ensemble Learning）通过组合多个基础模型来提升整体预测性能，其核心思想可以形象地比喻为"三个臭皮匠顶个诸葛亮"。这种方法的优势在于能够有效降低单一模型的偏差或方差，从而获得比任何单个模型更稳定、更准确的结果。集成学习主要分为两大流派：Bagging（Bootstrap Aggregating）和Boosting，它们在算法设计和应用场景上存在本质区别。AdaBoost作为经典Boosting算法，其核心的权重动态调整机制正在与新兴技术产生深度化学反应。
深度学习篇---模型优化思路
道阻且长，行则将至。
09-07 811
本文系统阐述了图像分类模型优化的四个关键维度：优化方向、可调参数、核心方法和评估指标。首先指出性能瓶颈可能来自数据、模型结构、训练策略或效率泛化层面。其次详细列举了模型结构参数（如网络深度/宽度、卷积核大小）和训练超参数（如学习率、批大小）的调整策略。核心优化方法包括数据增强、迁移学习、模型轻量化和注意力机制等。评估指标则涵盖准确率、F1分数、推理速度等多维度指标。最后给出了标准化的优化流程，强调针对性解决欠拟合或过拟合问题，实现模型性能的系统性提升。
MATLAB算法实战应用案例精讲-【深度学习】多尺度特征融合-目标检测（论文篇五）
qq_36130719的博客
04-15 2289
检测的图像，首先设置输入网络大小，然后将滑动窗口按照一定步长对图像进行滑动，微小的卷积神经网络，其使用卷积核在卷积神经网络中对输入图像信息进行卷积处理，传统行人检测技术进行分析，然后介绍基于深度学习行人检测算法，为后续行人检测。出，能够很好的描述行人的边缘，因此广泛应用于行人检测。的静态图像，往往采用梯度直方图方法获取行人图像的局部特征信息，然后计算所有。个单元格的特征将以不同的结果出现在最后的向量中，所有的小单元特征信息将构成。目的成果，使得行人检测检测技术成为基于深度学习目标检测领域的研究热点。
当训练过程中 loss 不下降时，可能的原因有哪些？（面试题200合集，高频、实用）
qq_38334677的博客
05-12 1307
当模型在训练过程中损失函数（Loss）不再下降，或者下降非常缓慢，甚至出现上升或剧烈震荡的情况时，这表明训练过程遇到了问题。这是一个在机器学习项目调试中非常常见的现象，其背后可能的原因多种多样，可以从数据、模型、优化器、超参数设置以及代码实现等多个层面进行分析。
【汽车篇】AI深度学习在汽车零部件外观检测——石墨电极板的应用
Dongsheng_2019的博客
10-10 365
基于AI深度学习的汽车零部件外观检测——石墨电极板方案，为汽车制造企业提供了一种先进、高效的检测解决方案。
深度学习和机器学习的区别，联邦学习和隐私计算的区别
haogexiaole的博客
10-08 1059
是达成这个目标的一种方法：每家工厂（数据源）用自己的秘方（本地数据）按照统一的配方（模型）进行试验，只把试验结果的改进建议（模型更新）汇总到一个中央厨房，由中央厨房调整配方后，再分发给各家工厂。：像把秘方锁进一个特制的保险箱（加密），厨师可以对这个保险箱进行操作来调制饮料，打开保险箱后得到的就是最终成品，但操作过程中没人能看到里面的秘方。：像几个厨师在一个黑屋子里，带着各自的秘方进去，通过一套复杂的规则共同操作，最终得到新饮料的配方，但谁也没看清别人的秘方。是实现这个目标的其中一辆“车”。
深度学习基本模块：MultiheadAttention 多头注意力机制
qq_34941290的博客
10-11 428
多头注意力机制（MultiheadAttention）是Transformer的核心组件，通过并行计算多个注意力头，使模型能同时捕捉输入序列中不同表示子空间的信息。该机制将输入特征分割到多个子空间独立计算注意力，再合并结果，显著增强了序列建模能力。其可学习参数包括投影权重和偏置项，支持灵活配置嵌入维度和注意力头数。输入输出采用(batch, seq, feature)格式，可应用于自注意力、交叉注意力等场景。PyTorch实现中，MultiheadAttention层不限定输入来源，可根据任务需求设计查询、
回归预测 | MATLAB实现CNN(卷积神经网络)多输入单输出+SHAP可解释分析+新数据预测
最新发布
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
10-12 45
回归预测 | MATLAB实现CNN(卷积神经网络)多输入单输出+SHAP可解释分析+新数据预测
深度学习基础：从原理到实践——附录A:PyTorch 深度学习框架基础（下）
AI新兵博客
10-08 201
PyTorch作为主流深度学习框架，其核心特性包括：1）基于反向积累的高效自动微分系统；2）模块化神经网络设计，支持卷积、池化等常见层；3）强大的数据加载与预处理机制；4）便捷的GPU加速与分布式训练支持；5）灵活的模型保存策略。与TensorFlow相比，PyTorch采用动态计算图，在灵活性、调试体验和性能（快5-15%）方面更具优势，尤其在学术研究和LLM领域表现突出。
RNN-seq2seq 英译法案例
qq_64232275的博客
10-10 1251
本文详细介绍了基于RNN和Seq2Seq模型的英译法实现方案。Seq2Seq模型通过编码器-解码器架构完成序列转换任务，本案例采用GRU单元实现，并引入注意力机制提升长序列处理能力。文章系统阐述了数据预处理、模型构建（包含基础解码器和注意力解码器实现）、训练策略（如TeacherForcing）以及评估方法，重点分析了注意力可视化效果和典型错误案例。最后总结了核心概念（GRU、Attention等）和超参数设置建议，探讨了双向GRU、BeamSearch等扩展方向。该方案在10,599条英法平行语料上实现有
深度学习：Inception 架构
qq_34941290的博客
10-09 950
AlexNet的成功证明了深度网络的优势，随后出现的ZFNet、VGG等模型不断加深网络层数，扩大滤波器数量。正是在这样的背景下，Google Research团队提出了（代号GoogLeNet），在2014年ImageNet挑战赛中以top-5错误率6.67%的优异成绩夺冠，同时参数量仅有AlexNet的1/12，实现了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值