损失函数（loss function）

最新推荐文章于 2025-11-03 14:57:31 发布
原创 最新推荐文章于 2025-11-03 14:57:31 发布 · 1.6w 阅读 · 147 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

文章目录

1、什么是损失函数

损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越小，通常模型的性能越好。不同的模型用的损失函数一般也不一样。

2、为什么要使用损失函数

损失函数的使用主要是在模型的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后损失函数会计算出预测值和真实值之间的差异值，也就是损失值。得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得模型生成的预测值往真实值方向靠拢，从而达到学习的目的。

3、损失函数分类

1、分类一

损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。

2、分类二

0-1损失函数(zero-one loss)
绝对值损失函数
log对数损失函数
平方损失函数
指数损失函数
Hinge 损失函数
感知损失(perceptron loss)函数
交叉熵损失函数 (Cross-entropy loss function)
注：对数损失函数和交叉熵损失函数应该是等价的！！！
详见：https://zhuanlan.zhihu.com/p/58883095

3、分类三

3.1基于距离度量的损失函数

基于距离度量的损失函数通常将输入数据映射到基于距离度量的特征空间上，如欧氏空间、汉明空间等，将映射后的样本看作空间上的点，采用合适的损失函数度量特征空间上样本真实值和模型预测值之间的距离。特征空间上两个点的距离越小，模型的预测性能越好。

3.1.1 均方误
最低0.47元/天 解锁文章
损失函数(Loss Function)一文详解-聚类问题常见损失函数Python代码实现+计算原理解析
master_hunter的博客
11-02 5994
在聚类问题中，我们试图将数据集分成不同的组（簇），使得每个组内的数据点相似度较高，而不同组之间的相似度较低。聚类问题的目标是找到合适的簇划分，以最大程度地减小组内的差异，同时最大程度地增大组间的差异。在聚类问题中，并没有像监督学习中那样明确定义的损失函数，因为聚类问题通常是无监督学习，没有预先定义的目标变量。而聚类问题的损失函数通常用于度量簇划分的质量，并提供一种可优化的指标来衡量聚类结果的好坏。损失函数度量了每个簇内数据点的相似度，即簇内数据点之间的相似程度。
常见损失函数Loss Function的选择(regression problem)
tostq的专栏
02-28 2017
回归损失函数Loss Function，regression problem，A General and Adaptive Robust Loss Function，huber loss，MSE，MAE，Quantile loss，Log-cosh loss，𝜖-insensitive
【深度学习】损失函数详解
LogosTR_的博客
08-16 1万+
损失函数
机器学习总结（一）：常见的损失函数
以梦为马，不负韶华
03-30 5万+
这是博主的第一篇博客，mark一下，希望今后能够坚持下去。博主是机器学习菜鸟，将来希望从事机器学习的工作，最近在整理机器学习的知识点，将这些总结的文字以博客的形式展现出来，一是便于复习，二是分享出来希望能对别人会有一点点帮助。最近搜集了一些机器学习常见的面试问题，将问题和回答整理出来，做到有备无患。（随时进行补充）一、常见的损失函数通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这
轻松理解Loss函数
最新发布
QiangDeHeng的博客
11-03 616
本文介绍了PyTorch中常用的Loss函数及其应用场景。Loss函数作为神经网络的"教练"，用于衡量模型预测与真实值之间的差距。文章详细讲解了MSELoss（回归任务）、L1Loss（含异常值数据）、CrossEntropyLoss（多分类）和BCEWithLogitsLoss（二分类）四种典型Loss函数的特点和使用方法，并提供了示例代码。同时给出了Loss函数的选择指南、训练循环实现示例以及初学者常见问题解答。掌握合适的Loss函数是模型训练的关键，建议新手从基础的MSELoss和
损失函数
weixin_37136725的博客
02-08 2万+
目录：一、0-1损失函数二、平方损失函数（Square Loss）：主要是最小二乘法（OLS）中； 三、绝对值损失函数四、对数损失函数（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中； 五、指数损失函数（Exponential Loss） ：主要用于Adaboost 集成学习算法中； 六、铰链损失函数（Hinge Loss）：...
什么是损失函数？
weixin_40551464的博客
01-12 1122
损失函数（Loss Function），也被称为代价函数（Cost Function），在机器学习和统计学中是一个非常核心的概念。它是一个衡量模型预测值与真实值之间差异的函数，用于在训练过程中指导模型参数的优化。损失函数的值越小，表示模型的预测结果与实际结果越接近，即模型的性能越好。在训练过程中，通过优化算法（如梯度下降）来最小化损失函数，从而调整模型的参数，使模型的预测结果尽可能接近真实结果。这个过程是机器学习模型训练的核心。
Pytorch 的损失函数Loss function使用详解
01-20
损失函数一般分为4种，平方损失函数，对数损失函数，HingeLoss 0-1 损失函数，绝对值损失函数。 我们先定义两个二维数组，然后用不同的损失函数计算其损失值。 import torch from torch.autograd import Variable ...
损失函数（loss function）PPT
11-11
损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即...
Pytorch中的损失函数Loss Function
Tiiktak‘s
02-16 1446
由于Pytorch中使用mini-batch进行计算，因此其损失函数的计算结果会对mini-batch取平均 常见的Pytorch中内置的损失函数有： nn.L1Loss 计算input与output的差的绝对值，input与output应该是同一维度，得到的loss也是相应维度 nn.NLLLoss Negative Log Likelihood class torch.nn.NLLLos...
损失函数（Loss Function）详细介绍（一篇文章教会你，新手教程）
enlybbq的博客
08-25 1208
损失函数（Loss Function），又称代价函数（Cost Function）或目标函数（Objective Function，注：目标函数有时泛指最大化/最小化目标，损失函数是其用于“最小化误差”的子类），是机器学习与深度学习中衡量模型预测结果与真实标签（Ground Truth）之间差异程度的核心数学工具。其值越小，代表模型的预测越接近真实情况；模型训练的本质，就是通过优化算法（如梯度下降）不断最小化损失函数的过程。损失函数是连接“模型预测”与“优化目标”的桥梁，其核心作用可归纳为三点：根据机器学习
损失函数（lossfunction）的全面介绍（简单易懂版）
热门推荐
小林学编程的博客
01-26 16万+
此篇文章会带你快速了解lossfunction（损失函数），用简单的语言，方便理解！！！！！
Loss function
linlinle的博客
10-15 795
均方误差与平均绝对误差 均方误差：     平均绝对误差： 相对于MAE计算损失，MSE对异常点赋更大的权重。MSE寻找平均值，MAE寻找是中位数，对异常点而言，中位数比平均值更鲁棒性 MAE更新梯度始终相同，很小损失值也具有较大梯度，解决方法是降低损失同时降低学习率 MSE使用固定学习率也可以收敛，其梯度与损失值成正比 若需要异常点检测，选用MSE，如果把异常点当作受损函数，则用MAE ...
loss function
SARACH_WONG的博客
07-09 359
问题起源于实验室是同学问：triplet loss比contrastive loss的改进是什么，但尴尬的是我不知道这两个是什么…于是想写写见到的loss function contrastive loss 参考Contrastive Loss (对比损失) L=12N∑n=1Nyd2+(1−y)max(margin−d,0)2L=\frac{1}{2N} \sum_{n=1}^N yd^2+(1...
[机器学习笔记] 什么是损失函数？
jieming2002的博客
02-01 1万+
机器学习模型关于单个样本的预测值与真实值的差称为损失。损失越小，模型越好，如果预测值与真实值相等，就是没有损失。 用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。 常用的损失函数有以下几种（引用自李航的《统计学习方法》） 1. 0-1损失函数 二类分类任务中，预测值与真实值不同，就是预测错误，则损失是1； 预测值与真实值相等，就是预测正确，损失是 0，就是
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
weixin_45594172的博客
06-23 2万+
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
pytorch的损失函数loss function接口介绍
09-02
PyTorch是一个开源的Python机器学习库，提供了丰富的损失函数接口，用于训练神经网络模型。损失函数是用于衡量模型预测结果与真实值之间的差异的函数。 在PyTorch中，常用的损失函数接口包括： 1. nn.L1Loss：计算预测值与真实值之间的绝对值差的平均值，也称为平均绝对值误差（MAE）损失函数。 2. nn.MSELoss：计算预测值与真实值之间的平方差的平均值，也称为均方误差（MSE）损失函数。 3. nn.CrossEntropyLoss：适用于多分类问题的交叉熵损失函数，结合了softmax激活函数和负对数似然损失函数。 4. nn.NLLLoss：适用于多分类问题的负对数似然损失函数，需要与log_softmax激活函数一起使用。 5. nn.BCELoss：适用于二分类问题的二元交叉熵损失函数，对于每个样本，计算预测值与真实值之间的交叉熵。 这些损失函数接口都可以通过创建对应的损失函数对象来使用。使用时，需要将模型的预测值和真实值作为参数传入，计算出模型的损失值。然后可以通过反向传播和优化器来更新模型的参数，以减小损失值。 总而言之，PyTorch提供了丰富的损失函数接口，可以根据不同的任务选择合适的损失函数，帮助训练神经网络模型。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值