Loss Function view---关于损失函数的介绍

最新推荐文章于 2024-03-08 09:45:00 发布
最新推荐文章于 2024-03-08 09:45:00 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： 深度学习入门

一、Loss Function

什么是Loss Function？wiki上有一句解释我觉得很到位，引用一下：The loss function quantifies the amount by which the prediction deviates from the actual values。Loss Function中文损失函数，适用于用于统计，经济，机器学习等领域，虽外表形式不一，但其本质作用应是唯一的，即用于衡量最优的策略。本章只从机器学习（ML）领域来对其进行阐述，机器学习其实是个不停的模拟现实的过程，比如无人驾驶车，语音识别，流感预测，天气预报，经济周期行为等众多领域，是互联网发展过程中“科学家”（暂且这么称呼吧）对于人类文明进步的另一个贡献，其本质就是要建立一个数学模型用于模拟现实，越接近真实越好，那么转化为数学语言即LF越小越好，因为LF值代表着现实与学习预测的差距，这个不停的缩小LF值的过程就称为优化，如果理解这些的话，就不难理解优化问题对于ML来说的重要性了，如水之于鱼，魂之于人！


二、几种Loss Function概述

如上一节所述，LF的概念来源于机器学习，同时我们也知道机器学习的应用范围相当广泛，几乎可以涵盖整个社会领域，那么自然不同的领域多少会有不同的做法，这里介绍在一般的机器学习算法中常见的几种，具有概括性

2.1 一般形式

J(w)=∑iL(mi(w))+λR(w)

LF分为两部分：L+R，L表示loss term，其中mi(w)=y(i)wTxi，y(i)∈{−1,1}，w表示学习出来的权重，该公式的作用很明显了，用来收集现实与学习结果的差距，是LF的核心部分，LF的不同大部分也是指的loss term的不同；R表示范式，范式存在的意思是进行约束，以防止优化过偏。

2.2 一般的loss term有5种，分别用于5种常见的机器学习算法

Gold Standard（标准式）于理想sample，这种一般很少有实践场景，这个方法的作用更多的是用来衡量其他LF的效用；Hinge于soft-margin svm算法；log于LR算法（Logistric Regression）；squared loss于线性回归（Liner Regression）和Boosting。

1）Gold Standard loss，一般我们称这个LF为L01，从公式中可以看出该公式的主要职责是在统计多少个错误的case，很明显现实数据不允许如此简单的统计方式


从公式我们可以很清楚的看出，当m<0的时候L=1，m<0说明预测失败，那么Loss则加1，这样将错误累加上去，就是Gold Standard loss的核心思想。

2）hinge loss，常用于“maximum-margin”的算法，公式如下

l(y)=max(0,1−mi(w))

这个公式也很好理解，其中mi(w)在前面介绍过，表示样本i在模型下的预测值的样本i的类标记{-1,1}的乘积，这个乘积可以用来检验预测与真实结果是否一致来表示分类是否正确，当乘积大于0时表示分类正确，反之亦然。

3) log loss(一般又称为基于最大似然的负log loss)

likelihood=

l(y)=−likelihood

其中 是log函数

最大似然思想指的是使得某种情况发生的概念最大的思想，根据LR的思想（参考这篇文章logistic回归深入篇（1）），我们知道g(w)对应的simod图，其将实域上的值映射到区间{0,1}，因此我们可以把g(w)看作事件A发生的概率，那么1-g(w)可以看作事件A不发生的概率，那么公式likelihood表达的含义就很明显了，y也是一个概率值，可以看做是对事件A与A逆的分量配额，当然我们的期望是A发生的可能越大越好，A逆发生的可能越小越好！因此likelihood是一个max的过程，而loss是一个min的过程，因此log loss是负的likelihood。

4）square loss

这个loss很好理解，就是平方差，loss 一般也成为最小二乘法

5）boosting loss

这个loss主要是基于指数函数的loss function。

三、几种Loss Function的效果对比

上图是多LF的效果对比图，其中蓝色的是Gold loss，可以看作水平基线，其他的loss的效果可以基于与它的比较结果，首先，红色的是Hinge loss，黄色的是log loss，绿色的是boosting loss，黑色的是square loss，从上图可以看出以下结论： Hinge，log对于噪音函数不敏感，因为当m<0时，他们的反应不大，而黑线与绿线可能更爱憎分明，尤其是黑线，因此，在很多线性分类问题中，square loss也是很常见的LF之一。



不良CV研究生
关注
专栏目录
深度学习基础-损失函数详解
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
01-14 1617
损失函数定义：损失函数是深度学习模型训练过程中关键的一个组成部分，其通过前言的内容，我们知道深度学习算法优化的第一步首先是确定目标函数形式。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。常用的减少损失函数的优化算法是“梯度下降法”（Gradient Descent）。
YOLOv8改进 | 损失函数篇 | SlideLoss、FocalLoss分类损失函数助力细节涨点(全网最全)
Snu77的博客
01-09 7957
本文给大家带来的是分类损失SlideLoss、VFLoss、FocalLoss损失函数，我们之前看那的那些IoU都是边界框回归损失，和本文的修改内容并不冲突，所以大家可以知道损失函数分为两种一种是分类损失另一种是边界框回归损失，上一篇文章里面我们总结了过去百分之九十的边界框回归损失的使用方法，本文我们就来介绍几种市面上流行的和最新的分类损失函数，同时在开始讲解之前推荐一下我的专栏，本专栏的内容支持(分类、检测、分割、追踪、关键点检测),专栏目前为限时折扣，欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制
深度学习：损失函数，平方差，交叉熵，指数，Hinge（SVM）
weixin_41108334的博客
11-07 5386
参考博文：https://blog.csdn.net/App_12062011/article/details/56276228 一、损失函数              损失函数和代价函数是同一个东西，目标函数是一个与他们相关但更广的概念，对于目标函数来说在有约束条件下的最小化就是损失函数（loss function）。度量模型，指导模型训练，因此损失函数的设计和模型结构设计一样的重要，...
loss损失函数
qq_48687044的博客
11-25 241
因为L2范数将误差平方化（如果误差大于1，则误差会放大很多），模型的误差会比L1范数大的多，因此模型会对这种类型的样本更加敏感，这就需要调整模型来最小化误差。但是很大可能这种类型的样本是一个异常值，模型就需要调整以适应这种异常值，那么就导致训练模型的方向偏离目标了。也被称为最小绝对值偏差（LAD），绝对值损失函数（LAE）。一般回归问题会使用此损失，离群点对次损失影响较大。L2范数损失函数，也被称为最小平方误差（LSE）。L1损失函数相比于L2损失函数的鲁棒性更好。L1和L2都可以做损失函数使用。
Loss function 损失函数
weixin_44270537的博客
07-18 553
损失函数 model.compile(loss='mean_squared_error', optimizer='sgd', metrics=['mae', 'acc']) 定义：在深度学习中，损失函数是用来衡量一组参数的质量的函数，衡量的方式是比较网络输出和真实输出的差异 损失函数并不适用测试数据来衡量网络的性能。 损失函数用来指导训练过程，使得网络的参数向损失降低的方向改变。 训练过程通常使用。 随机梯度下降法Stochastic gradient desceny 试图找到一组参数使得损失函数的值越
损失函数 loss function
deep learning
08-27 557
加入有以下数据集 如何预测x = 4 时， y 的值？ 实际函数为y = 2x， 如果按照y = 3x, 预测： 会得到以下结果： 损失函数前面系数加 1/2 为了积分运算方便。 损失函数计算结果决定学习的情况， mean值越小， 学习越接近实际值。 ...
损失函数loss
皮皮blog
04-12 2万+
http://blog.csdn.net/pipisorry/article/details/23538535 监督学习及其目标函数 损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。 损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部...
python如何画损失函数图_Pytorch 的损失函数Loss function使用详解
weixin_39575502的博客
12-08 5128
1.损失函数损失函数，又叫目标函数，是编译一个神经网络模型必须的两个要素之一。另一个必不可少的要素是优化器。损失函数是指用于计算标签值和预测值之间差异的函数，在机器学习过程中，有多种损失函数可供选择，典型的有距离向量，绝对值向量等。损失Loss必须是标量，因为向量无法比较大小(向量本身需要通过范数等标量来比较)。损失函数一般分为4种，平方损失函数，对数损失函数，HingeLoss 0-1 损失函数...
Pytorch 的损失函数Loss function使用详解
weixin_36670529的博客
05-11 1万+
目录 1、损失函数 1、nn.L1Loss 2、nn.SmoothL1Loss 3、nn.MSELoss 4、nn.CrossEntropyLoss 5、nn.BCELoss 6、nn.NLLLoss 7、nn.NLLLoss2d 8、BCEWithLogitsLoss 与 MultilabelSoftMarginLoss 9、比较BCEWithLogitsLoss和Tenso...
pytorch系列 --11 pytorch loss function： MSELoss BCELoss CrossEntropyLoss及one_hot 格式求 cross_entropy
墨流觞的博客
11-13 8453
本文主要包括： pytorch 实现的损失函数 pytorch实现的loss function 神经网络主要实现分类以及回归预测两类问题，对于回归问题，主要讲述均方损失函数，而对于一些回归问题，需要根据特殊情况自定义损失函数。对于分类，主要讲述二分类交叉熵和多分类交叉熵函数 在讲解函数之前，提前说一下： 所有的loss的基类是Module，所以使用loss的方法是： # 1. 创建损失函数...
损失函数介绍
hfutzxy的博客
05-14 343
谈谈分类器的损失函数(1)： http://www.10tiao.com/html/149/201607/2650470558/1.htmlhttp://www.csuldw.com/2016/03/26/2016-03-26-loss-function/http://blog.csdn.net/google19890102/article/details/50522945最大似然估计： htt
TensorFlow中损失函数介绍
legend_hua的博客
04-14 2218
原作者写的很好，转载过来记录一下，原网址：https://blog.csdn.net/marsjhao/article/details/72630147     一、分类问题损失函数——交叉熵（crossentropy）   交叉熵刻画了两个概率分布之间的距离，是分类问题中使用广泛的损失函数。给定两个概率分布p和q，交叉熵刻画的是两个概率分布之间的距离： 我们可以通过Softmax...
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
weixin_45594172的博客
06-23 2万+
损失函数（loss function）（基本介绍，作用，场景，特点，常见损失函数，代码示例）
深度学习之——损失函数（loss)
GWENGJING的博客
09-09 1万+
本文的目的介绍损失函数，以及它们的基本原理。
关于深度学习损失函数MSE的一些简单总结
qq_37758122的博客
11-30 6607
MSELoss损失函数中文名字就是：均方损失函数，公式如下所示： (xi-yi)的平方 这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。 很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。 因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。 一般的使用格式如下所示： loss_fn = torch.nn.MSELoss(reduce=True, size_aver
神经网络算法——损失函数（Loss Function）
最新发布
不要给自己设限，尝试更多可能（思所向 皆可往）
03-08 8886
本文将从损失函数的本质、损失函数的原理、损失函数的算法三个方面，详细介绍损失函数Loss Function。损失函数。
深度学习之损失(Loss)函数的介绍【详解】
qq_23022733的博客
06-30 5274
深度学习之损失函数的介绍
损失函数（lossfunction）的全面介绍（简单易懂版）
热门推荐
小林学编程的博客
01-26 12万+
此篇文章会带你快速了解lossfunction（损失函数），用简单的语言，方便理解！！！！！
逻辑回归损失函数_逻辑回归为何不用平方差损失函数
weixin_39965881的博客
12-16 1331
当面试一些刚进入机器学习领域的学生时，我都会问这两个问题：(1) 逻辑回归的损失函数是？(2) 逻辑回归为何不用平方差损失函数？对于第一个问题，大多数人都知道是交叉熵损失函数；对于第二个问题，却有不少人回答不出来或者回答不是那么准确。有的回答说：因为逻辑回归的预测值在[0,1]范围内，用交叉熵损失函数能方便转成概率问题进行计算，这种回答显然没有回答出我想要的理想答案。其实当初...
pytorch训练CNN-GRU
05-26
在PyTorch中训练CNN-GRU模型，可以使用nn.Module类来构建模型。下面是一个简单的示例代码，其中包含一个CNN层和一个GRU层： ```python import torch import torch.nn as nn class CNN_GRU_Model(nn.Module): def __init__(self): super(CNN_GRU_Model, self).__init__() # CNN layer self.cnn = nn.Sequential( nn.Conv2d(in_channels=3, out_channels=16, kernel_size=3), nn.ReLU(), nn.MaxPool2d(kernel_size=2), nn.Conv2d(in_channels=16, out_channels=32, kernel_size=3), nn.ReLU(), nn.MaxPool2d(kernel_size=2) ) # GRU layer self.gru = nn.GRU(input_size=32*6*6, hidden_size=64, num_layers=1, batch_first=True) # Output layer self.out = nn.Linear(64, 10) def forward(self, x): x = self.cnn(x) x = x.view(x.size(0), -1) x, _ = self.gru(x) x = self.out(x[:, -1, :]) return x ``` 在上述代码中，我们首先定义了一个`CNN_GRU_Model`类，继承自`nn.Module`类。该类包含三个层，分别是CNN层、GRU层和输出层。 在`__init__`函数中，我们定义了CNN层和GRU层。CNN层包含两个卷积层和两个池化层。GRU层包含一个单层的GRU网络，其中输入大小为32\*6\*6，隐藏层大小为64。输出层使用一个线性层，将GRU层的输出映射到10个类别上。 在`forward`函数中，我们首先将输入通过CNN层进行卷积和池化，然后将输出展平成二维张量。接着，我们将展平后的张量输入到GRU层中，得到GRU层的输出。最后，我们将GRU层的最后一个时间步的隐藏状态输入到输出层中，得到最终的分类结果。 接下来，我们可以使用上述模型来训练一个分类任务的数据集。假设我们使用的是CIFAR-10数据集，可以使用以下代码进行训练： ```python import torchvision.datasets as datasets import torchvision.transforms as transforms # Load CIFAR-10 dataset train_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transforms.ToTensor()) test_dataset = datasets.CIFAR10(root='./data', train=False, download=True, transform=transforms.ToTensor()) # Define dataloader train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True) test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False) # Define model model = CNN_GRU_Model() # Define loss function and optimizer criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=0.001) # Train the model num_epochs = 10 for epoch in range(num_epochs): for images, labels in train_loader: # Forward pass outputs = model(images) loss = criterion(outputs, labels) # Backward and optimize optimizer.zero_grad() loss.backward() optimizer.step() # Evaluate the model on test set with torch.no_grad(): total = 0 correct = 0 for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() accuracy = correct / total # Print the accuracy for each epoch print('Epoch [{}/{}], Accuracy: {:.2f}%'.format(epoch+1, num_epochs, accuracy*100)) ``` 在上述代码中，我们首先加载CIFAR-10数据集，并定义一个dataloader。然后，我们定义了模型、损失函数和优化器。接着，我们使用循环进行训练，每个epoch都对整个训练集进行一次遍历。在每个epoch中，我们使用测试集来评估模型的性能，并输出准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值