损失函数：Cross Entropy Loss （交叉熵损失函数）

最新推荐文章于 2024-04-28 10:26:22 发布
最新推荐文章于 2024-04-28 10:26:22 发布
阅读量1k 收藏 10
点赞数 8
分类专栏： 人工智能知识点 文章标签： 人工智能 损失函数 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FriendshipTang/article/details/137878625
版权

损失函数：Cross Entropy Loss （交叉熵损失函数）

前言

相关介绍

损失函数（Loss Function）在机器学习和深度学习中扮演着至关重要的角色，它是一个评估模型预测输出与真实标签之间差异程度的函数。损失函数量化了模型预测错误的程度，并在训练过程中作为优化的目标，模型通过不断地调整内部参数以最小化损失函数的值，从而实现更好的拟合数据和泛化能力。

主要特性与作用：

  1. 量化误差：损失函数将模型预测值与实际目标值之间的差异转化为数值，这样就可以通过数值大小直观地衡量模型的预测效果。

  2. 优化导向：在训练神经网络时，优化算法（如梯度下降法）会根据损失函数的梯度来更新模型参数，使损失函数朝着最小化方向移动。

  3. 种类多样：根据不同的任务和需求，有多种不同的损失函数可供选择。例如，在二分类任务中常用的有二元交叉熵损失函数（Binary Cross-Entropy Loss/BCE Loss），在多分类任务中有softmax交叉熵损失函数，在回归任务中常见的是均方误差（Mean Squared Error/MSE）和绝对误差（Mean Absolute Error/MAE）等。

常见的损失函数包括：

  • 二元交叉熵损失（Binary Cross-Entropy Loss / BCE Loss）：适用于二分类问题，衡量的是sigmoid函数输出的概率与真实标签间的距离。

  • 多分类交叉熵损失（Categorical Cross-Entropy Loss）：对于多分类问题，每个样本可能属于多个类别之一，使用softmax函数和交叉熵损失。

  • 均方误差（Mean Squared Error / MSE）：在回归问题中常用，计算预测值与真实值之差的平方平均。

  • 均方根误差（Root Mean Squared Error / RMSE）：MSE的平方根，也是回归任务中的损失函数。

  • Huber损失：一种既能兼顾均方误差又能容忍较大误差的混合损失函数，常用于回归问题中。

  • Dice系数损失（Dice Loss）：在图像分割任务中广泛使用，衡量的是预测分割区域与真实分割区域的重叠程度。

  • IoU（Intersection over Union）损失：也是在图像分割领域常用的损失函数，计算的是预测区域与真实区域交集与其并集的比例。

  • Focal Loss：在目标检测中应对类别不平衡问题的损失函数，对易分类的样本给予较小的权重，强调难分类样本的训练。

每种损失函数都有其适用的情境和优缺点，选择合适的损失函数是优化模型性能的关键因素之一。

交叉熵（Cross-Entropy）之所以能够用于分类问题，是因为它能够很好地衡量模型预测的概率分布与实际标签分布之间的相似度，而且它拥有几个非常适合分类任务的重要特性：

  1. 信息论基础：交叉熵源于信息论中的概念，表示一个概率分布 (p) 与另一个概率分布 (q) 的差异。在分类问题中，我们可以把 (p) 视为真实数据的标签分布，(q)视为模型预测的概率分布。交叉熵可以衡量模型预测概率与实际类别标签之间的信息差异。

  2. 最大似然估计的自然延伸：在机器学习中，我们通常倾向于最大化模型对数据的似然性，即模型预测给定数据标签的概率。交叉熵损失函数实际上是负对数似然函数在多项式分布（对于多分类问题）或伯努利分布（对于二分类问题）下的特殊情况，通过最小化交叉熵损失，相当于最大化数据的对数似然性。

  3. 梯度稳定性：交叉熵损失函数是连续且可微的，其梯度容易计算且对于大多数情况是有意义的。这意味着在训练过程中，模型可以根据损失函数的梯度进行有效的参数更新。

  4. 稀疏性惩罚：对于多分类问题，softmax函数与交叉熵损失组合使用时，不仅鼓励模型正确预测每个样本的类别，同时也通过归一化机制惩罚了预测概率分布的不均匀性，即模型不能过于肯定任何一个错误类别。

  5. 处理多类别和二类别问题：交叉熵既可以用于处理二分类问题（通过二元交叉熵，Binary Cross-Entropy），也可以处理多分类问题（通过多类别交叉熵，Multiclass
    Cross-Entropy）。在二分类问题中，通常搭配Sigmoid函数输出概率；在多分类问题中，通常配合Softmax函数生成类别概率分布。

总的来说，交叉熵损失函数因其良好的理论基础、优化目标清晰以及在实践中的优秀表现，成为了分类问题中最常用的损失函数之一。

Softmax函数

Softmax函数是深度学习和机器学习中广泛使用的激活函数，特别是在多分类问题中。它的目的是将一个线性变换的输出（通常称为logits）映射为一个概率分布，使得所有类别的概率总和为1，每个类别的概率都在0到1之间。

Softmax函数的形式：

对于一个向量 ( z ) ，其中包含每个类别的原始得分（logits），Softmax函数的计算公式如下：

s o f t m a x ( z ) i = e z i ∑ j = 1 K e z j softmax(z)_i = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} softmax(z)i​=∑j=1K​ezj​ezi​​

其中：

  • ( K ) 表示类别总数。
  • ( z_i ) 表示第 ( i ) 个类别的得分。
  • ( softmax(z)_i ) 表示第 ( i ) 个类别的归一化概率。

整个Softmax函数的结果是一个概率分布向量，其中每个元素都是原得分经过指数函数变换后再除以所有得分指数函数值之和，因此所有元素的和为1。

Softmax函数的特性：

  1. 概率性质：Softmax函数确保输出的每个元素都是非负数，并且所有元素的和为1，满足概率分布的要求。
  2. 竞争性：Softmax函数会使得分最高的类别获得最大的概率值，其余类别的概率按比例递减，形成了一种“赢家通吃”的效应。
  3. 平滑连续：由于使用了指数函数和平滑的除法运算，Softmax函数输出是平滑且连续的，便于在训练过程中梯度的计算和传播。

应用场景：

在深度学习的多分类问题中，例如图像分类、文本分类等任务，Softmax函数通常与交叉熵损失函数一起使用。模型最后一层通常会产生一个logits向量，接着通过Softmax函数得到每个类别的概率，最后计算与实际标签之间的交叉熵损失，以此指导模型参数的更新。

代码实例

在PyTorch中，你可以直接使用torch.softmax()函数来实现Softmax操作。下面是一个简单的实例：

import torch

# 假设我们有一个代表logits的张量
logits = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])

# 使用torch.softmax函数计算Softmax值
probs = torch.softmax(logits, dim=1)

print(probs)
'''
tensor([[0.0900, 0.2447, 0.6652],
        [0.0900, 0.2447, 0.6652]])
'''

上述代码中，logits是一个2x3的张量，代表两个样本的三个类别的原始得分。dim=1表示我们在每个样本的类别间计算Softmax，也就是对每一行进行操作。执行torch.softmax()后，probs张量将包含每个样本各类别的归一化概率。

注意，如果你正在训练一个多分类模型并且使用了nn.CrossEntropyLoss()损失函数，通常不需要单独调用torch.softmax()，因为该损失函数内部已经包含了对logits计算Softmax的过程。在多数情况下，你只需将模型的原始输出（logits）传递给损失函数，并配合真实类别标签即可。

Cross Entropy Loss （交叉熵损失函数）

在这里插入图片描述

nn.CrossEntropyLoss是PyTorch中用于多分类问题的一种损失函数，特别适用于输出层是softmax激活函数后的分类任务。它结合了softmax函数和交叉熵损失（Cross-Entropy Loss）的操作，简化了模型训练过程中的计算步骤和代码实现。

基本概念：

  • 交叉熵损失（Cross-Entropy Loss）源于信息论中的熵概念，用于衡量两个概率分布之间的差异。在机器学习和深度学习中，它用来量化模型预测的概率分布与真实标签分布之间的差距。

  • softmax函数：在多分类问题中，softmax函数将模型的线性输出（logits）转换为一个概率分布，确保所有类别的概率和为1。softmax函数的输出可以用作模型预测的概率分布。

nn.CrossEntropyLoss的工作方式：

  • PyTorch中的nn.CrossEntropyLoss接收两个输入：

    • input：模型的原始输出（logits），通常是未经过softmax激活的张量。
    • target：真实的一维标签张量，包含了每个样本所属类别的索引，通常采用LongTensor类型。

  • 内部处理流程：

    • 对于每个样本，首先计算其对应的softmax概率分布。
    • 然后，根据真实标签计算交叉熵损失。损失是对每个样本的损失值进行平均得到的，如果没有特殊指定，损失默认会在批次（batch）层面求平均。

  • 损失函数计算公式：

    • 对于单个样本，交叉熵损失是 -∑(yi * log(pi))，其中 yi 是实际标签的one-hot编码（在实际情况中，由于标签是索引形式，nn.CrossEntropyLoss内部会处理one-hot编码），pi 是模型预测的该类别概率。
    • 对于整个批次，损失则是各样本损失的平均。

Cross Entropy Loss与BCE loss区别

CrossEntropyLoss 和 BCELoss 都是 PyTorch 中用于监督学习分类任务的损失函数，它们分别适用于不同的分类场景：

BCELoss (Binary Cross Entropy Loss)

  • BCELoss 是二元交叉熵损失函数，专门用于二分类问题，即输出只有两类（0或1，正面或负面，真或假等）。
  • 使用 BCELoss 时，模型的输出一般是通过 Sigmoid 函数得到的概率值，介于0和1之间。
  • 计算公式为 -y * log(p) - (1-y) * log(1-p)，其中 y 是真实的标签（0或1），p 是模型预测的概率。
  • 输入要求是经过Sigmoid激活函数之后的输出张量和相应的真实标签张量，二者形状必须相同。

CrossEntropyLoss (Multinomial Cross Entropy Loss 或者 Softmax Cross Entropy Loss)

  • CrossEntropyLoss 适用于多分类问题，它可以处理任何数量的类别，不仅仅是二分类。
  • 对于多分类问题，模型的输出通常是一个 logits（未归一化的预测值），然后CrossEntropyLoss内部会先通过Softmax函数将其转换为概率分布，然后再计算交叉熵。
  • 使用 CrossEntropyLoss 时，不需要手动在输出层之前添加Sigmoid或Softmax函数，因为它已经包含了Softmax运算步骤。
  • 它结合了Softmax函数和交叉熵损失的功能，简化了多分类任务的训练流程，其计算公式基于交叉熵和类别间的互斥性（即对于每个样本，所有类别的概率之和为1）。
  • 输入要求是未经Softmax激活函数处理的logits张量和one-hot编码形式的真实标签张量。

总结来说，两者的主要区别在于：

  • BCELoss用于二分类任务，而CrossEntropyLoss适用于多分类任务。
  • BCELoss前接Sigmoid，CrossEntropyLoss前接Softmax（但这一步在使用CrossEntropyLoss时由损失函数内部自动完成）。
  • BCELoss处理的是二元概率分布，而CrossEntropyLoss处理的是多类别概率分布。

代码实例

import torch
import torch.nn as nn

# 假设模型输出和真实标签
output_logits = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])  # 假设输出是两样本的三个类别的logits
targets = torch.tensor([1, 2])  # 假设第一样本是第二类，第二样本是第三类

# 创建交叉熵损失函数
criterion = nn.CrossEntropyLoss()

# 计算损失
loss = criterion(output_logits, targets)

print(loss.item())  # 输出损失值 # 0.9076058864593506

在上述代码中，nn.CrossEntropyLoss()函数内部处理了softmax激活和交叉熵损失计算，直接返回了模型预测与真实标签之间的交叉熵损失。

FriendshipT
关注
  • 8
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
交叉熵损失函数（Cross Entropy Loss）.pdf
05-12
交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）.pdf 交叉熵损失函数（Cross Entropy Loss）...
交叉熵损失函数（Cross Entropy Loss）
热门推荐
SongGu1996的博客
08-10 10万+
基础不牢，地动山摇，读研到现在有一年多了，发现自己对很多经常打交道的知识并不了解，仅仅是会改一改别人的代码，这使我感到非常焦虑，自此开始我的打基础之路。如果博客中有错误的地方，欢迎大家评论指出，我们互相监督，一起学习进步。 交叉熵损失函数（Cross Entropy Loss）在分类任务中出镜率很高，在代码中也很容易实现，调用一条命令就可以了，那交叉熵是什么东西呢？为什么它可以用来作为损失函数？...
交叉熵损失（Cross-Entropy Loss）
weixin_43368992的博客
03-24 371
在实际应用中，交叉熵损失通常与softmax函数结合使用，softmax函数可以将模型的原始输出（logits）转换为概率分布。对于正确的类别，当模型的预测概率越接近1时，损失越小；y：真实标签的概率分布，通常为一个独热编码向量，表示正确的类别位置为1，其余位置为0。对于错误的类别，当模型的预测概率越接近0时，损失越小；它鼓励模型对正确的类别有更高的预测概率，同时又对错误的类别有更低的预测概率。p：模型预测的概率分布，通常是模型输出层（如softmax层）的输出。Pi：预测概率向量中的第 i个元素。
损失函数——交叉熵损失函数（CrossEntropy Loss）
weixin_45665708的博客
12-16 8万+
损失函数——交叉熵损失函数（CrossEntropy Loss） 交叉熵函数为在处理分类问题中常用的一种损失函数，其具体公式为： 1.交叉熵损失函数由来 交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。 1.1信息量 信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。 “太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。 “六
二元交叉熵损失函数（Binary Cross Entropy Loss，BCELoss）是交叉熵损失函数（CrossEntropyLoss）的特殊情况
努力学习的DS
11-11 2159
一直以来看到还以为是很复杂的东西，原来其实是，也就是二元交叉熵损失函数其实就是交叉熵损失函数。
损失函数：交叉熵损失torch.nn.CrossEntropyLoss
ywfwyht的博客
08-31 2874
交叉熵主要是用来判定实际输出（概率）与期望输出（概率）的接近程度。也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出，概率分布q为实际输出。
[Machine Learning] 交叉熵损失函数 v.s. 平方损失函数（CrossEntropy Loss v.s. Square Loss）
01-20
我们会发现，在机器学习实战中，做分类问题的时候经常会使用一种损失函数（Loss Function）——交叉熵损失函数（CrossEntropy Loss）。但是，为什么在做分类问题时要用交叉熵损失函数而不用我们经常使用的平方损失...
pytorch 实现cross entropy损失函数计算方式
09-18
今天小编就为大家分享一篇pytorch 实现cross entropy损失函数计算方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
交叉熵损失函数-解释说明-附代码
06-18
交叉熵损失函数：交叉熵损失函数（cross-entropy loss）是一种用于评估分类模型预测结果的损失函数。它被广泛应用于深度学习中，尤其是在图像识别、自然语言处理等任务中。 在分类问题中，我们通常将每个样本分为...
交叉熵损失函数原理详解
01-06
之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，...
Perfectly Clear Workbench for mac/win：让图像清晰不再是难题
2401_82627223的博客
04-27 405
Perfectly Clear Workbench是一款功能强大、操作简便的图像清晰处理软件。它不仅能够满足专业摄影师的高标准需求，也能让业余爱好者轻松提升作品质量。
神经网络中多层卷积的作用
金石软件
04-27 437
在神经网络中采用多层卷积的目的是为了逐步提取和组合图像的抽象特征，从而更有效地学习数据的表示并执行复杂的任务。不同层的卷积具有不同的作用，从较低层次的特征（例如边缘、纹理）到较高层次的抽象特征（例如物体部件、整体物体）逐渐提取。通过多层卷积，网络能够从原始图像中逐步学习并提取更加抽象和语义丰富的特征，从而实现对输入数据更准确和有效的建模和处理。
【炼金术士】BatchSize对网络训练的影响
kabuto_hui的博客
04-25 1381
首先我们设置一个非常小的初始学习率，比如1e-5，然后在每个batch之后都更新网络，同时增加学习率，统计每个batch计算出的loss。最后我们可以描绘出学习的变化曲线和loss的变化曲线，从中就能够发现最好的学习率。针对BatchSize越大，网络训练速度快这条很好理解，在相同的单位时间内，一次训练的数据越多，网络训练的速度也就越快。初始的学习率肯定是有一个最优值的，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性。
铝型材表面瑕疵识别-Are you OK?队-1-解决方案
gangyikeji的博客
04-28 1111
本次大赛分为初赛、复赛和决赛三个阶段（9月17日-11月22日），初赛是分类任务，复赛是检测任务，决赛是现场答辩。经过2个多月的算法角逐和决赛答辩，我们团队（Are you OK?这里着重介绍下复赛的答辩方案，对初赛感兴趣的同学可以参照我们的开源代码。[初赛开源代码1](https://github.com/herbert-chen/tianchi_lvcai)[初赛开源代码2](https://github.com/OdingdongO/pytorch_classification)
linux 编译opencv遇到问题
123
04-26 709
linux 编译opencv遇到问题
TR6 - Transformer实战 单词预测
Loser
04-26 1377
实验做的还是比较简单的，Transformer模型中的编码器直接使用的是pytorch框架预定义好的模块，但是对于理解整个模型的训练过程还是非常有帮助的。在实验的过程中，发现torchtext模块也已经不在维护了，和计算机视觉不同，自然语言处理的模型的输入格式灵活多变，经常需要自己写代码调整，比如上面的data_process函数。
Llama 3 安装使用方法
最新发布
思跃喵的博客
04-28 849
llama3是一种自回归语言模型，采用了transformer架构，目前开源了8b和70b参数的预训练和指令微调模型
基于自注意力机制的长短期记忆神经网络(LSTM-SelfAttention)的回归预测
沅的博客
04-27 1051
它结合了LSTM和自注意力机制的优势，可以有效地处理时序数据中的长期依赖关系和关键部分。这个模型结合了两个不同的结构，即长短期记忆网络（LSTM）和自注意力机制，从而在时序数据预测中发挥各自的优势。LSTM-SelfAttention模型的优势在于它既能捕捉到时序数据中的长期依赖关系（通过LSTM），又能关注输入数据中的关键部分（通过自注意力机制）。LSTM在时序数据预测中表现出色，因为它可以捕捉到数据中的长期依赖关系。自注意力层：在LSTM层之后，引入自注意力机制，以关注时序数据中的不同部分。
交叉熵损失函数CrossEntropyLoss()详解
11-08
交叉熵损失函数CrossEntropyLoss()是一种常用的损失函数，通常用于多分类问题中。它结合了nn.LogSoftmax()和nn.NLLLoss()两个函数，可以同时完成softmax和负对数似然损失的计算。在Pytorch中，可以通过调用nn.CrossEntropyLoss()函数来实现交叉熵损失函数的计算。 具体来说，交叉熵损失函数的计算公式为：$loss(x, class) = -log(\frac{exp(x[class])}{\sum_j exp(x[j])})$，其中$x$表示模型的输出，$class$表示正确的类别。交叉熵损失函数的目标是最小化预测值与真实值之间的差距，从而提高模型的准确性。 在Pytorch中，可以通过以下代码来使用nn.CrossEntropyLoss()函数： ``` import torch.nn as nn loss_fn = nn.CrossEntropyLoss() loss = loss_fn(output, target) ``` 其中，output表示模型的输出，target表示真实的标签。调用loss_fn(output, target)即可计算交叉熵损失函数的值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FriendshipT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值