交叉熵cross entropy

最新推荐文章于 2022-10-20 19:14:10 发布
最新推荐文章于 2022-10-20 19:14:10 发布
阅读量3.5k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38145317/article/details/79351295
版权
交叉熵在深度学习中作为损失函数比均方差更优，尤其在分类问题上。它结合sigmoid或softmax激活函数，能更好地加速训练。文章解释了交叉熵的定义，并对比了均方差函数。讨论了TensorFlow提供的四种交叉熵函数，特别是sigmoid_cross_entropy_with_logits的实现。还提到了Keras中的binary_crossentropy与之的区别。
摘要由CSDN通过智能技术生成

   在统计学中,损失函数是一种衡量损失和错误程度的函数.建设某样本的实际输出为a,而预计的输出为y,则y和a之间可能会不一样,存在偏差,深度学习的目的就是通过不断地训练迭代,使得a越来越接近y,即|a-y|\rightarrow 0,而训练的本质就是寻找损失函数最小值的过程.

    常见的损失函数有两种,一种是均方差函数,另一种是交叉熵函数,对于深度学习而言,交叉熵函数要优于均方差函数,原因在于交叉熵函数配合输出层的激活函数如sigmoid或softmax函数能更快地加速深度学习的训练速度.这是为什么呢?

第一种损失函数, 均方差函数（Mean Squared Error），定义如下。

loss=\frac{(a-y)^2}{2}

平方差很好理解，预测值与真实值直接相减，为了避免得到负数取绝对值或者平方，再做平均就是均方平方差。注意这里预测值需要经过sigmoid激活函数，得到取值范围在(0,1)之间的预测值。sigmoid激活函数定义如下:

sigmoid=\frac{1}{1+e^{-x}}

平方差可以表达预测值与真实值的差异，但在分类问题种效果并不如交叉熵好，原因可以参考相关论文（https://jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-squared-error-for-neural-network-classifier-training/） 。交叉熵的定义如下，

最低0.47元/天 解锁文章
wanghua609
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
分类问题时loss只是收敛到0.693附近的直线
HuntZou的博客
03-26 6584
目录问题概述根本原因：交叉熵常见原因之一：Sigmoid出现问题原因及解决方法1 当输入与输出确实不相关时2 当模型初始权重相同且较大，且学习率较小时3 当模型的输入本身就很小，或者模型初始化权重很小时4 特征不明显，导致长时间训练不拟合5 使用sigmoid或tanh这类函数时，或输入特征较大使得收敛更困难 这种情况一般是在使用了交叉熵的二分类问题上容易出现，同样的，也可能出现loss收敛到1.0986、1.386等等，其实他们就是log(1/2)、log(1/3)、log(1/4)。。。 问题概述 根
交叉熵损失cross entropy loss
kiss_the_rian的博客
03-22 3195
除了均方差，在神经网络中很常用的一个损失函数是交叉熵损失cross entropy loss。这里记录一下它的概念。 Entropy 熵，衡量不确定性。 信息熵越大，混乱程度越大，信息量越大。 当概率均等的时候信息熵最大，这时系统对取什么态没有偏向性，所以混乱度最大。 Cross Entropy 交叉熵，是与两个分布有关的概念 KL Divergence 散度，衡量两个分布的差别大小： 对于0-1的情况H§=0所以优化H(p,q)就是直接优化散度 举例 五分类问题 真实分布：P1[1 0 0 0 0]
YOLOv3训练过程记录
波波的专栏
06-19 8974
在做YOLOv3检测的时候，第一阶段，一直使用 RMS 优化器，最多的时候训练200轮。 "rsm_strategy": { "learning_rate": 0.001, "lr_epochs": [40, 80, 120, 160], "lr_decay": [1, 0.5, 0.25, 0.1, 0.02], } 初始的学习率测试过 0.01，0.001，0.005...
loss问题——工作中对出现的loss问题描述与解决参考
家有代码初写成 的博客
02-23 8805
问题一：loss跑飞 如下图描述 1、学习率（lr）过大，可以自定义一个学习率的值（较小）开始学习。 参考blog：https://blog.csdn.net/CHNguoshiwushuang/article/details/81784299 也就是说，学习率如果设置过大，会导致其直接跑到另外一边，从而导致loss跑飞。当然真实的loss变化是在一个奇异空间里的，不是图上的那种二...
关于语义分割的那些事
s724mri的博客
08-16 1123
本文作为杂知识点总结，主要是备忘。 1.Focal loss 相较于CE多了个gamma系数，从图形上看，让loss函数更陡，或者说在Pi>0.5时loss下降的更快，也就是相较于同样的Pi来说，Focalloss的loss值更低。这样对于well classification的点/类就贡献了更少的loss值，从而实现了让model更专注去优化难分类的值。 举个dummy例子： Loss_狗+Loss_狼+Loss_鸡=0.05+0.05+0.02 =0.12—CE Loss_狗+Loss_狼+Los
交叉熵（Cross-Entropy）
计算机图形学与深度学习
01-09 2917
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设X的信息量为： I(x0)=−log(p(x0))时，熵将等于0，也就是说该事件的发生不会导致任何信息量的增加。举个例子，小明平时不爱学习，考试经常不及格，而小王是个勤奋学习的好学生，经常得满分，所以我们可以做如下假设： 事件A：小明考试及
cross_entropy.zip
03-31
在IT领域，尤其是在医学图像处理和分析中，交叉熵（Cross-Entropy）是一个重要的评价指标，常用于衡量模型预测概率分布与实际标签之间的差异。在本案例中，我们讨论的是如何在MATLAB环境下计算交叉熵，以评估图像...
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
09-18
在PyTorch中，`nn.CrossEntropyLoss()` 是一个常用的操作，用于计算神经网络分类任务的损失。这个损失函数结合了对数 softmax 函数和负对数似然损失（negative log likelihood loss），常用于多分类问题。以下是 `nn...
基于MSELoss()与CrossEntropyLoss()的区别详解
09-18
本文将详细讲解两种常用的损失函数——MSELoss（均方误差损失）和CrossEntropyLoss（交叉熵损失）之间的区别，并通过实例进行阐述。 **MSELoss（均方误差损失）**主要应用于回归问题，它衡量的是预测值与真实值之间...
交叉熵损失函数（Cross Entropy Loss）.pdf
05-12
交叉熵损失函数（Cross Entropy Loss）在人工智能领域，尤其是深度学习中，是用于衡量模型预测结果与实际标签之间的差异的重要工具。它源于信息论中的熵和相对熵（KL散度）概念，常用于监督学习的分类任务，尤其是多...
Keras中的多分类损失函数用法categorical_crossentropy
09-16
这样，`categorical_crossentropy`就可以计算模型预测的概率分布与one-hot编码标签之间的交叉熵，从而作为优化目标。 举个例子，考虑MNIST手写数字识别任务，我们可以这样设置模型： ```python from keras....
caffe训练时，loss一般出现87.3365则保持不变
山中有石为玉
02-13 1389
caffe训练时，loss一般出现很奇怪的值：87.3365，则保持不变下去。直觉就有问题。 搜索资料，找到多篇帖子： https://blog.csdn.net/u011215144/article/details/78479330 https://blog.csdn.net/cheese_pop/article/details/79582077 https://blog.csdn....
损失函数——交叉熵损失函数
YCCNUST的博客
07-01 5643
交叉熵损失函数
各种交叉熵损失函数比较及适用范围
SUFEHeisenberg的博客
10-23 3611
各种交叉熵损失函数比较及适用范围 一、基本概念 1、信息量 当越不可能的事件发生了，我们获取到的信息量就越大。越可能发生的事件发生了，我们获取到的信息量就越小。 I(x0)=−log⁡(p(x0))I(x_0)=-\log(p(x_0))I(x0​)=−log(p(x0​)) 2、熵 对于某个事件，有nnn种可能性，每一种可能性都有一个概率p(xi)p(x_i)p(xi​).熵用来表示所有信息量的期望 H(X)=−∑i=1np(xi)log⁡(p(xi))H(X)=-\sum_{i=1}^{n} p\lef
利用YOLOv3代码训练自己的训练集(二)
wangshiyi924507786的博客
08-31 1770
前言 在前面(一)的代码中，我在训练一个自己的数据集时候（缺陷检测），epoch为1500，但最终的loss仍然很高，为9左右。 因此检测效果也很差，如图中所示，缺陷没检测出来。 这个时候该怎么办？增加epoch？这个方法不仅费时，而且很有可能效果仍然不好。 有一种简单的方法就是微调参数。 参数微调 1.预训练 先对整个数据集进行一次pre-training(预训练)，得到每一层的weights...
卷积神经网络loss不下降,神经网络loss多少算正常
神器榜
10-20 5495
这个问题比较泛，因为网络的损失函数是由自己设计的，如果不特殊说明一般是有均方误差和交叉熵两种损失函数的。因为合适的batch size范围和训练数据规模、神经网络层数、单元数都没有显著的关系。经网络训练时准确度突然变得急剧下降，很有可能是你的休息不够睡眠不足导致注意力不集中，近段时间的心情也很影响训练时的准确度，心情烦躁准确度也就会下降。2、batch size太大，深度学习的优化training loss降不下去和泛化generalization gap都会出问题。4、选择合适的激活函数、损失函数。
yolov3 训练自己的数据
qq_36302589的博客
12-19 2258
上篇blog说了数据集制作的问题，然后
韦东山imx6ullpro完全开发书册
最新发布
08-15
韦东山imx6ullpro完全开发书册
crossentropy java_交叉熵(Cross Entropy loss)
05-16
public static double crossEntropy(double[] y_true, double[] y_pred) { double loss = 0.0; for (int i = 0; i ; i++) { loss += y_true[i] * Math.log(y_pred[i]) + (1 - y_true[i]) * Math.log(1 - y_pred[i...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值