小知识点系列(二十五) 本文(2500字) | 解读交叉熵损失函数的求导(sigmoid和softmax) |

最新推荐文章于 2024-11-06 10:43:24 发布
最新推荐文章于 2024-11-06 10:43:24 发布
阅读量970 收藏 21
点赞数 19
文章标签： YOLO 深度学习 人工智能 Softmax sigmoid
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302770/article/details/135308815
版权
人工智能专栏计划 专栏收录该内容
142 篇文章 7 订阅

已下架不支持订阅

本文深入解析交叉熵损失函数，探讨其在二分类问题和多分类问题中的应用，特别是在神经网络中与Sigmoid和Softmax函数的结合。通过对损失函数的求导，阐述其在训练过程中的优势，如非负性和当预测接近真实值时损失趋向于0。同时，详细介绍了Softmax函数的公式和多分类交叉熵损失函数的推导过程。
摘要由CSDN通过智能技术生成

点击进入专栏：
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程

文章目录

    • 引言
    • 基本性质
    • 二分类交叉熵
    • Softmax 多分类交叉熵
    • 另一版推导(包含向量表示形式)

引言

交叉熵，顾名思义，取的是两者交叉的熵值；而在机器学习中的所谓两者，自然是真实分布（或实际输出概率）与预测分布（或期望输出概率），通过熵值计算的方法来刻画两者距离，可以评估两个概率分布（或特征工程里的两个特征变量）的相似度。当交叉熵的值越小时，两个概率分布也就越接近，实际与期望的差距也就越小。

作为一类重要的损失函数，交叉熵较常用于分类问题，特别是神经网络的分类问题。与平方损失函数相比较，由于学习速率可以被输出误差所控制的缘故，交叉熵能在梯度下降时避免均方误差损失函数学习速率降低的问题，有着更为出色的效果。除此之外，由于交叉熵的计算涉及到各个类别的概率，所以说起交叉熵几乎与sigmoid/softmax函数形影不离，

了解本专栏 已下架不支持订阅
小酒馆燃着灯
关注
专栏目录

已下架不支持订阅

DL之LF：损失函数简介——交叉熵损失和负对数似然损失的联系与区别、二分类(二元交叉熵+Sigmoid函数)、多分类(多元交叉熵+Softmax函数)
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-16 816
​ DL之LF：损失函数简介——交叉熵损失和负对数似然损失的联系与区别、二分类(二元交叉熵+Sigmoid函数)、多分类(多元交叉熵+Softmax函数) 目录 对比：交叉熵损失(分类问题的损失函数，常用于分类问题+DL)、负对数似然损失(衡量分布之间差异，常用于概率模型+LLM) 对比：交叉熵损失(分类问题的损失函数，常用于分类问题+DL)、负对数似然损失(衡量分布之间差异，常用于概率模型+LLM) CELoss简介 交叉熵损失（Cross-Entropy Loss，CELoss）是信息论中的一
ReLU,Sigmoid,Tanh,softmax,pipeline【基础知识总结】
zik的博客
11-27 3624
一、ReLU（Rectified Linear Activation Function） 1、优点 2、缺点 3、补充 1.Leaky ReLUs 2.参数化修正线性单元（PReLU） 3.随机纠正线性单元（RReLU） 二、Sigmoid 1、优点 2、缺点 三、Tanh（hyperbolic tangent） 四、Sigmoid 和 Tanh 激活函数的局限性 五、softmax（归一化指数函数） 1、将预测结果转化为非负数 2、各种预测结果概率之和等于1 3、例子 六、pipeline
交叉熵损失函数详解
热门推荐
youhuakongzhi的博客
06-12 7万+
我们知道，在二分类问题模型：例如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，真实样本的标签为 [0，1]，分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。 Sigmoid 函数的表达式和图形如下所示： 其中 s 是模型上一层的输出...
Sigmoid，Softmax，Softmax loss，交叉熵(Cross entropy)，相对熵(relative entropy，KL散度)梳理
梦坠凡尘
01-09 1358
这些概念有点混，借此梳理记录一下。 sigmoid sigmoid函数是常用的二分类函数，函数形式为： 曲线形式如下： Sigmoid 是一个可微的有界函数，在各点均有非负的导数。当 x→∞ 时，S(x)→1；当 x→−∞ 时，S(x)→0。常用于二元分类（Binary Classification）问题，以及神经网络的激活函数（Activation Function）（把线性的输入转换为非线...
【经典网络解析（二）】全连接神经网络 | Softmax，交叉熵损失函数 优化AdaGrad，RMSProp等 对抗过拟合 全攻略
专注于人工智能的算法与应用
09-20 1121
深度学习全连接神经网络，Softmax操作，交叉熵损失函数，优化AdaGrad等方法
机器学习(11)-探秘交叉熵损失函数
Lavi的专栏
01-09 1388
探秘交叉熵损失函数1 前言2 二分类的交叉损失函数形式2.1 交叉熵损失函数的常见形式2.2 交叉损失函数的另一种形式3 Softmax函数与交叉熵损失函数 1 前言 学习机器学习相关的算法的时候会，经常看到交叉熵损失函数。交叉熵损失函数的最常见的形式，学习LR(Logistics Regression)函数的时候，给出的交叉熵损失函数，也是比较容易理解的形式。但是除了LR算法中会接触到交叉熵损失...
二分类交叉熵损失函数python_Keras中的多分类损失函数用法categorical_crossentropy
weixin_39870132的博客
12-22 2547
from keras.utils.np_utils import to_categorical注意：当使用categorical_crossentropy损失函数时，你的标签应为多类模式，例如如果你有10个类别，每一个样本的标签应该是一个10维的向量，该向量在对应有值的索引位置为1其余为0。可以使用这个方法进行转换：from keras.utils.np_utils import to_categ...
sigmoid 和softmax的区别
virus111222的博客
03-20 1286
但有一个问题，在我们学习数学的分类问题的时候，是不是讲过所有类别概率之和应该是1，sigmoid就做不到这一点，，三个类别的概率可能是0.6，0.9，0.8，都偏高，虽然知道最后计算结果应该是第二类，但是类别之间并没有拉开距离，不利于模型的训练。sigmoid做二分类最后的输出是一个神经元，这个神经元是0-1之间的数，用一个神经元就可以表示是或者不是，，，，softmax的二分类最后的输出是两个神经元，原因在于它需要计算。sigmoid本身是用来做激活函数的，并不是用来做分类的。过程，所以一般称为激活。
理解二分类交叉熵|可视化的方法解释对数损失
小白学视觉
05-28 2086
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达介绍 如果你在训练一个二分类分类器，很有可能你在使用二值交叉熵，log损失，作为你的损失函数。你有没有想过，使用这个损失函数到底意味着什么？事实是，现在的各种库和框架非常的简单易用，导致大家很容易忽视所使用的损失函数的真正意义。动机我一直在找一个可以通过可视化到的方法清楚而简单的解释二元交叉熵...
大白话5分钟带你走进人工智能-第十七节逻辑回归之交叉熵损失函数概念(2)
L先生AI课堂
04-29 1135
第十七节逻辑回归之交叉熵损失函数概念(2) 上一节中我们讲解了逻辑回归是做分类的原因，本节的话我们讲解逻辑回归的损失函数-交叉熵损失函数。逻辑回归，是要做分类的，最重要的是要去分界，这个逻辑回归它是怎么找分界？首先它有回归两个字，我们可以转成另外两个字，拟合。所以逻辑回归找...
MATLAB算法实战应用案例精讲-【数模应用】交叉熵损失函数（Cross-entropy loss function）
qq_36130719的博客
07-05 448
交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。
MATLAB算法实战应用案例精讲-【数模应用】交叉熵损失函数（Cross-entropy loss function）（补充篇）
qq_36130719的博客
07-06 367
不过要注意，从模型的角度来看，找到不是最终目的，找的过程（即模型的训练）更重要。模型以找到为目标，不断去拟合数据点，使得它的输出离数据的观察值越来越近，直至近到我们满意为止，这时，模型就算训练好了。然后，这个模型针对任何一个新的输入值，就会产生符合训练数据集的分布的一个输出，此输出值即模型产生的预测值。一般是用来量化两个概率分布之间差异的损失函数（多用于分类问题）。举个例子，在多分类问题中，一个物体所属于不同类别的真实分布p如下：也就是说，真实的分类是这个物体属于Class B。预测分布q。
【天线＆化学】航拍图屋顶异常检测系统源码＆数据集全套：改进yolo11-ContextGuided
qunshansj的博客
11-02 682
本项目数据集信息介绍本项目所使用的数据集名为“Roof inspection anomalies”，旨在为改进YOLOv11的航拍图屋顶异常检测系统提供高质量的训练数据。该数据集专注于屋顶检查过程中可能出现的异常情况，尤其是与设备相关的异常。数据集中包含了一个类别，即“equip”，该类别涵盖了与屋顶设备相关的各种异常现象。这些异常可能包括设备的损坏、老化、错位等问题，这些问题在航拍图像中可能表现为特定的视觉特征。
【天线＆运输】交通事故严重程度检测系统源码＆数据集全套：改进yolo11-HSFPN
m0_73650442的博客
11-02 1051
本项目数据集信息介绍本项目所使用的数据集名为“SEVERITY-ACCIDENT-DETECTION -FINALIZED”，旨在为改进YOLOv11的交通事故严重程度检测系统提供高质量的训练数据。该数据集包含三种主要类别，分别为“moderate-accident”（中等严重事故）、“object-accident”（物体事故）和“severe-accident”（严重事故）。
YOLOv6-4.0部分代码阅读笔记-effidehead.py
m0_58169876的博客
11-03 281
【代码】YOLOv6-4.0部分代码阅读笔记-effidehead.py。
【数据集】【YOLO】【目标检测】口罩佩戴识别数据集 1971 张，YOLO佩戴口罩检测算法实战训练教程！
最新发布
kyriehan的博客
11-06 832
【数据集】【YOLO】【目标检测】口罩佩戴识别数据集 1971 张，YOLO佩戴口罩检测算法实战训练教程！ 数据集中包含1种分类：{'0': 'face_mask'}，佩戴口罩。 数据集来自国内外图片网站和视频截图。 检测场景为城市街道、医院、商场、机场、车站、办公大楼、施工地等人员密集的场所人员口罩佩戴检测，可用于智慧城市、智慧园区、智慧医疗等，服务于保护人员安全、疫情防控工作。 数据集当中含有626张负样本数据，内容是不戴口罩的人脸图像数据，方便模型进行区分识别。
＜项目代码＞YOLOv8 夜间车辆识别＜目标检测＞
qq_53332949的博客
10-29 725
YOLOv8 夜间车辆识别项目代码
YOLOv8模型改进 第十八讲 添加CMUNeXt Block 提升小目标检测
qq_64693987的博客
11-06 801
1. 深度卷积：采用大核的深度卷积（depthwise convolution）操作，组数等于通道数，用于提取每个通道的全局信息，之后有一个残差连接（residual connection）。2. 逐点卷积（第一次）：接着是一个逐点卷积（pointwise convolution），核大小为 1×1。3. 逐点卷积（第二次）并倒置瓶颈设计：再经过一个逐点卷积，并且这两个逐点卷积之间有倒置瓶颈设计，即两个逐点卷积层之间的隐藏维度设置为比输入维度宽四倍，用于混合空间和通道信息。
YOLOv6-4.0部分代码阅读笔记-nms.py
m0_58169876的博客
11-03 258
【代码】YOLOv6-4.0部分代码阅读笔记-nms.py。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值