cross-entropy

最新推荐文章于 2023-07-03 11:22:07 发布
最新推荐文章于 2023-07-03 11:22:07 发布
阅读量761 收藏 2
点赞数
分类专栏： deeplearning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40485472/article/details/81131446
版权
本文深入探讨交叉熵的概念，首先介绍了信息熵和KL散度，阐述它们在衡量不确定性及分布差异中的作用。接着，揭示了交叉熵与信息熵、KL散度的数学关系，并解释了为何在分类问题中，交叉熵常被用作损失函数。在二分类问题中，交叉熵特别适用于评估模型预测与真实标签的匹配程度。
摘要由CSDN通过智能技术生成

1.交叉熵的定义

H(p,q)=-\sum_{i=0}^np(x_i)\log q(x_i)

2.交叉熵与信息熵、KL散度的关系

信息熵是用来衡量不确定性的。

信息量的定义：不确定性越大，所包含的信息量越大；不确定性越小，所包含的信息量

定义：\chi为一个随机分布，p(x)=P(\chi =x),当x=x_0时，所包含的信息量为I(x_0)=-\log p(x_0)

根据概率分布的性质，p(x_0) \subset [0,1],所以I(x_0) \geq 0, 当且仅当p(x_0)=1时，I(x_0)=0；且p(x_0)越大，I(x_0)越小

信息熵可以看作是一个概率分布信息量的期望，H(p) = \sum_\chi p(x = x_i)I(x_i) = - \sum_\chi p(x_i)\log p(x_i)

KL散度（相对熵）是用来衡量两个分布之间的差异，也可以认为是从分布p到到分布q信息增益的期望值：

 KL(p||q)=\sum p_i \log \frac{p_i}{q_i}=E_p \log \frac{p_i}{q_i}

可以证明KL(P||Q) \geq 0:（需要用到对数和不等式）

           KL(p||q)=E_p(\log \frac{p}{q})=-E_p(\log \frac{q}{p}) \geq - \log(\sum_\chi p \frac{q}{p}) = -\log(\sum q) = 0

当两个分布完全相同时，KL散度为0；两个分布越相近，KL散度越小。

并且KL散度是不对称的，可以认为是参照系的差别。

根据KL散度的定义可以推导出交叉熵、信息熵以及KL散度三者的关系，将KL散度的定义展开：

KL(p||q)=\sum_\chi p(x) \log \frac{p_x}{q_x} = \sum_\chi p(x)\log p(x) - \sum_\chi p(x) \log q(x)=-H(p)+H(p,q)

分解之后，第一项就是负的信息熵，后面一项就是p,q的交叉熵

用分布Q去拟合分布P时，P的信息熵不变，因此交叉熵与KL散度等价，所以可以用交叉熵来衡量P、Q的差异

3.使用交叉熵为LOSS FUNCTION

在分类问题中经常使用交叉熵作为Loss Function，在分类问题中，可以把需要拟合的数据\chi看作是多项贝努力分布

对于一个数据:

                                    Loss=-\sum_{i \in c} p(x=i) \log \hat{p}(x=i)

其中c为类别的集合；

在二分类问题中，数据可以看成一个标准的贝努力分布（01分布）

Loss=-\sum_{i \in c} p(x=i) \log \hat{p}(x=i) = -(p\log (\hat{p})+(1-p)\log (1-\hat{p}))

如果\hat{y}是softmax或者sigmoid出来的结果

                                       Loss=-(y\log \hat{y} + (1-y) \log (1-\hat{y}))

在训练时，每一次只计算了ground truth类对应的label，没有训练其他的类。

4.交叉熵与最大似然

 

 

 

Loss Function List：

http://christopher5106.github.io/deep/learning/2016/09/16/about-loss-functions-multinomial-logistic-logarithm-cross-entropy-square-errors-euclidian-absolute-frobenius-hinge.html

 

ippputeeel
关注
专栏目录
【深度学习】损失函数 理解 Cross-Entropy Loss, Binary Cross-Entropy Loss
q742971636的博客
04-16 3176
文章目录1 前言2 sigmoid激活函数 与 Softmax激活函数3 Cross-Entropy Loss二分类：sigmoid激活函数+Cross-Entropy Loss多分类：softmax激活函数+Cross-Entropy Loss 一篇好文：https://gombru.github.io/2018/05/23/cross_entropy_loss/ 1 前言 计算CE Loss 之前需要加softmax层，适用于多类预测 Multi-Class Classification，类间存在竞争关
MATLAB算法实战应用案例精讲-【数模应用】交叉熵损失函数（Cross-entropy loss function）
qq_36130719的博客
07-05 402
交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。
叉熵损失函数(Cross Entropy)
August-us的博客
03-25 2万+
叉熵损失函数（Cross Entropy）   我们在逻辑回归算法中引入了交叉熵函数，但是上一次，我并没有对交叉熵损失函数做一个详细的解释。这里就补上。损失函数又叫做误差函数，用来衡量算法的运行情况.在分类中，都是和分类错误的数量正相关的，分类错误越多，损失也就越大。   我们在逻辑回归中引出，交叉熵，当时说的是如果分错一个类别，就会产生损失。J(θ)=y^lny+(1−y^)ln(1−y)J(θ...
交叉熵（Cross-Entropy）
热门推荐
rtygbwwwerr的专栏
03-03 19万+
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X\mathcal{X}，概率分布函数为p(x)=Pr(X=x),x∈Xp(x)=Pr(X=x),x∈\mathcal{X}，我们定义事件X=x0X=x_0的信息量为： I(x0)=−log(p(x0))I(
交叉熵代价函数
wepon的专栏
03-13 15万+
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+
cross entropy
Just Do IT
07-19 1098
出处：https://liusida.github.io/2016/11/25/cross-entropy/ Cross Entropy 的通俗意义 25 Nov 2016 cross_entropy 公式如下： CrossEntropy=−∑i(Li⋅log(Si))CrossEntropy=−∑i(Li⋅log⁡(Si)) 它描述的是可能性 S 到 L
A Ranking-Based Cross-Entropy Loss 阅读PPT
最新发布
07-12
为了解决这个问题，一项发表在《IEEE Transactions on Neural Networks and Learning Systems》（SCI一区）的研究提出了一种基于Ranking的交叉熵损失（RCE，Ranking-based Cross-Entropy Loss）方法。RCE的目标是...
cross-Entropy.rar_matlab例程_matlab_
08-12
The cross-entropy (CE) method attributed to Reuven Rubinstein is a general Monte Carlo approach to combinatorial and continuous multi-extremal optimization and importance sampling. The method ...
cross-entropy（交叉熵）是什么？用了表征什么东西？
data+scenario+science+insight
05-08 819
cross-entropy（交叉熵）是什么？用了表征什么东西？ 一句话概括：softmax把分类输出标准化成概率分布，cross-entropy（交叉熵）刻画预测分类和真实结果之间的相似度（只不过用距离来刻画相似）。 cross-entropy 不是机器学习独有的概念，本质上是用来衡量两个概率分布的相似性的。 softmax 和 cross-entropy 本来没有太大的关系，只是把两个放在一起实现的话，算起来更快，也更数值稳定。同理sigmoid+cross-entropy ...
交叉熵 (Cross Entropy)
jmu201521121021的博客
02-02 1505
交叉熵 (Cross Entrophy) Machine Learning 很大一部分二分类任务的 loss function 使用 Cross Entrophy.，正常前面会有sigmoidsigmoidsigmoid激活函数，具体前向和反先可以参考前面我的博客：https://blog.csdn.net/jmu201521121021/article/details/86658163 公式 P...
cross-entropy函数
Believe in the Future的专栏
09-11 449
我们理想情况是让神经网络学习更快 假设简单模型: 只有一个输入,一个神经元,一个输出 简单模型: 输入为1时, 输出为0 初始 w = 0.6, b = 0.9   初始预测的输出 a = 0.82, 需要学习 学习率: 0.15 演示:  初始: w = 2.0, b = 2.0, 初始预测输出: 0
神经网络中cross-entropy函数
u010999741的专栏
05-08 553
看这博文的，应该都知道机器学习中常见的交叉熵损失函数；下面这个是神经网络中的交叉熵函数，也就是当输出为one-hot编码以及类似的拥有多个输出神经元的形式，防止有时怀疑自己是不是记错，可以借此文回忆一下。 ...
CrossEntropy（交叉熵损失函数pytorch）
xiaziqiqi的博客
07-03 3434
weight， 为一维张量，具体的大小为M，M为样本的标签数量，代表赋予的类别的权重ignore_index，int类型数据，用于指定忽略某个类别的索引。默认为 -100，表示不忽略任何类别。reduction：指定损失函数的计算方式。可选项包括：‘none’（不返回每个样本的损失值）、‘mean’（返回每个样本的平均损失值）、‘sum’（返回每个样本的总损失值）。N，代表了N个样本LiL_{i}Li​，为某个样本的对应损失函数的值yiy_{i}yi​。
Cross Entropy 详解
sunlanchang的博客
12-02 421
交叉熵解析 交叉熵例子 交叉熵PyTorch官方文档
Cross entropy
Work Hard, Play Harder!
06-24 2418
In information theory, the cross entropy between two probability distributions {\displaystyle p} and {\displaystyle q} over the same underlying set of events measures the average number of bits 
TensorFlow交叉熵函数(cross_entropy)的理解
anshiquanshu的专栏
03-13 761
内容参考：Tensorflow四种交叉熵函数计算公式：tf.nn.cross_entropyTensorFlow四种Cross Entropy算法实现和应用 交叉熵（Cross Entropy） 交叉熵（Cross Entropy）是Loss函数的一种（也称为损失函数或代价函数），用于描述模型预测值与真实值的差距大小，常见的Loss函数就是均方平方差（Mean Squared Error），定义如下。 注意：tensorflow交叉熵计算函数输入中的logits都不是softma..
深度学习笔记(四)：Cross-entropy损失函数
风筝的专栏
05-17 2万+
改进的Cost函数Cross-entropy使神经网络学习更快 神经网络是如何学习的 神经网络学习过程(Cost的变化情况) 为什么神经网络会出现一开始学习很慢后来学习变快的情况呢 介绍cross-entropy 损失函数（cost function） 演示cross-entropy损失函数的学习情况 总结: 改进的Cost函数Cross-entropy使神经网络学习更快...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值