三谈香浓熵：交叉熵与损失函数

最新推荐文章于 2022-10-09 17:26:20 发布
最新推荐文章于 2022-10-09 17:26:20 发布
阅读量368 收藏 2
点赞数 1
分类专栏： 机器学习 文章标签： 概率 信息论 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sanddoor/article/details/103313462
版权
本文深入探讨了交叉熵在机器学习中的应用，作为损失函数衡量模型分布与真实分布的差距。通过实例解释了交叉熵如何度量模型的好坏，并分析了其函数曲线，展示其最小值对应于模型完全拟合真实概率的情况。
摘要由CSDN通过智能技术生成

理解香浓熵
再谈香浓熵：编码与信息量

有了前两篇做基础，我们就可以来理解机器学习中的一种损失Loss(又称代价Cost 或误差 Error)函数了。

交叉熵作为损失函数

假设现在需要学习一个映射：输入为 X X X, 输出为 Y Y Y。
我们把 X , Y X, Y X,Y看作一个随机变量，那么训练集中的每一对数据( x i x_i xi​, y i y_i yi​)就是随机变量的一个值。
这个随机变量的真实概率分布记为 P d a t a ( y ∣ x ) P_{data}( y | x ) Pdata​(y∣x)，这个真实分布我们不知道，是想通过学习去逼近的。
同时，学习模型本身是一个函数，其对应的概率分布记为 P m o d e l ( y ∣ x ) P_{model}( y | x ) Pmodel​(y∣x)，所谓学习就是通过不断地修正参数使得后者逼近前者。
现在，如何度量模型分布和真实分布之间的差距呢？一种方式就是用交叉熵。
L = ∑ X , Y P d a t a ( y ∣ x ) ⋅ − l o g P m o d e l ( y ∣ x ) L = \sum_{X,Y} P_{data}(y | x) \cdot -logP_{model}(y | x) L=X,Y∑​Pdata​(y∣x)⋅−logPmodel​(y∣x)

最低0.47元/天 解锁文章
【NLP】再看交叉熵损失函数
让算法融入生活，改变生活！
01-06 1475
Focal Loss for Dense Object Detection 交叉熵 在深度学习领域出现交叉熵（cross entropy）的地方就是交叉熵损失函数了。通过交叉熵来衡量目标与预测值之间的差距。了解交叉熵还需要从信息论中的几个概念说起。 信息量 如何衡量一条信息包含的信息量？加入我们有以下的两个事件： 事件1：年底昆明要下雪 事件2：年底哈尔滨要下雪 凭直觉来说，事件1的信息量比事件2的信息量大，因为昆明一年四季如春，下雪的几率非常小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能
MATLAB实现各种熵：香农熵、条件熵、模糊熵、样本熵等
WW、forever的博客
03-23 1万+
0 引言 信息熵(entropy)的原始定义是离散(discrete)的，后来发展了在连续域上的微分熵(differential entropy)。然而，通常在给定的数据集上，无法知道连续变量的概率分布，其概率密度函数也就无法获得，不能够用微分熵的计算公式。那要如何计算呢？ 一种常见的方式是直方图法，它将连续变量的取值离散化，通过变量范围内划分bins，将不同的变量取值放入一个个bins中，然后统计其频率，继而使用离散信息熵的计算公式进行计算。然而，每个bin应该取多大的范围是很难确定的，通常需要反复计算
香农熵、交叉熵和相对熵
jediael_lu的专栏
07-13 1224
1、自信息、香农熵 信息论的基本思想是一个不太可能得事件居然发生了，要比一个非常可能发生的事件发生，能提供更多的信息。 定义一个事件发生的自信息为： I(x)=−log⁡P(x) I(x) = -\log P(x) I(x)=−logP(x) P(x)P(x)P(x)为xxx事件发生的概率。如果log以自然对数e为底，则单位为奈特；如果以2为底，则单位为比特。 自信息只能处理单个的输出，我们可以使用香农熵来对整个概率分布中的不确定性总量进行量化： H(x)=Ex−p[I(x)]=−Ex−p[log⁡P(x)
香农墒 交叉熵
q742971636的博客
11-16 350
1 香农墒 量化信息 https://baike.baidu.com/item/%E9%A6%99%E5%86%9C%E7%86%B5/1649961?fr=aladdin 1948 年，香农提出了“信息熵”(shāng) 的概念，解决了对信息的量化度量问题。 实质就是：信息不确定性的多少。 2 交叉熵 https://www.cnblogs.com/wangguchangqing/p/12068084.html ...
【深度学习】Softmax和交叉熵损失是什么？香农信息量、熵、交叉熵又是什么？
聊北辰同学的博客
09-06 311
这之前了解一下softmaxsoftmaxsoftmax的一些概念，区别于maxmaxmax，softmaxsoftmaxsoftmax的特点就在于他的softsoftsoft，有点像聚类里的软聚类和硬聚类的区别类似，softmaxsoftmaxsoftmax会给出属于各个类别是概率，而非直接归为某个类别。softmaxsoftmaxsoftmax计算也非常简单，公式如下： Softmaxi=ei∑jejSoftmax_i = \frac{e^i}{\sum_j{e^j}}Softmaxi​=∑j​ejei
香农熵、相对熵（KL散度）与交叉熵
wuguangbin1230的博客
06-18 2196
1. 香农熵（Shannon entropy）信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。如果一个随机变量 XX 的可能取值为 X={x1,x2,…,xn}X={x1,x2,…,xn}，对应的概率为 p(X=xi)p(X=xi)，则随机变量 XX 的信息熵为：H(X)=−∑i=1np(xi)logp(xi)H(X)=−∑i=1np(xi)lo...
损失函数--交叉熵、softmax
wzw12315的专栏
06-30 822
交叉熵损失函数：二分类 或者 区分前景背景   softmax损失函数：   交叉熵损失函数和softmax损失函数前面的负号，可以保证网络分错的时候，损失值趋于较大值。   平方损失函数：   平方损失函数在目标检测用得比较多，实际是多维空间的欧氏距离，然后取平均值。   对比损失函数：   triplet 损失函数：   保证损失函数为什么要除以...
信息论的基本概念比较：自信息、香浓熵、微分熵、相对熵、交叉熵
陆上溪流
09-04 6722
信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。 希望能有一种量化信息的方法，并且具备一些性质，如： • 非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件 应该没有信息量。 • 较不可能发生的事件具有更高的信息量。 • 独立事件应具有增量的信息。例如，投掷的硬币两次正面朝上传递的信息量， 应该是投掷一次硬币正面朝上的信息...
香浓信息量，信息熵，交叉熵，相对熵（KL散度），JS散度，条件熵，信息增益，互信息
zz2230633069的博客
03-04 1832
香浓信息量：用于刻画消除随机变量X在x处的不确定性所需的信息量的大小 计算公式：，但是在深度学习中一般使用的是自然对数 其中：如果是连续型随机变量的情况，设p为随机变量X的概率分布，即p(x)为随机变量X在X=x处的概率密度函数值，如果是离散分布，那么p(x)为随机变量X在X=x处的概率值 特点：因为p(x)是0-1的值，所以香浓信息量大小总是大于0比特 信息熵：用于刻画消除随机变量...
神经网络数学基础-香浓信息量、信息熵、交叉熵、相对熵（KL散度）
u014546828的博客
08-14 1503
香浓信息量 这里以连续随机变量的情况为例。设 为随机变量X的概率分布，即 为随机变量 在 处的概率密度函数值，随机变量 在 处的香农信息量定义为： 这时香农信息量的单位为比特，香农信息量用于刻画消除随机变量在处的不确定性所需的信息量的大小。 如果非连续型随机变量，则为某一具体随机事件的概率。 为什么是这么一个表达式呢？想具体了解的可以参考如下的讨论： 知乎-香农的信息论究竟牛在哪里？ 香农信息量_weixinhum-CSDN博客 信息熵 由香农信息量可以知，对于一个已知.
深度学习中的损失函数（交叉熵）
YuanLei96的博客
04-03 4339
0、前景介绍 对于线性回归模型适用于输出为连续值的情景，但是在模型输出是一个像图像类别这样的离散值时。对于这样离散值的预测问题，通常使用一些例如sigmoid/softmax的分类模型。 1. 图像分类任务 假设下面两个模型都是通过softmax的方式得到对于每个预测结果的概率值： 模型1： 预测 真实 是否正确 0.3 0.3 0.4 0 0 1 (猪) 正确 0.3 0.4 0.3 0 1 0 (狗) 正确 0.1 0.2 0.7 1 0
理解香浓熵
sanddoor的博客
11-29 714
理解香浓熵随机变量的有趣与乏味香浓熵均匀分布下的香浓熵 随机变量的有趣与乏味 香浓熵用来度量一个随机变量的信息量。 举个例子，假设有一台收音机，每秒钟发出一个单音，这个单音的频率就是随机变量的值。 那么如果它每次发的音都是一样的，比如，都是440hz（钢琴上的A4），那么它就很单调乏味，信息量很小。 如果它有时候发440hz，有时候发261hz(中央C)，那么信息量就大一点，也有趣一点。 以此类推...
交叉熵损失函数原理深层理解
qq_38675397的博客
08-14 4440
说起交叉熵损失函数「Cross Entropy Loss」，相信大家都非常熟悉，但是要深入理解交叉熵损失函数的原理和作用，还得溯本追源才能对其有一个真实的理解与认知。 交叉熵 交叉熵是用来度量两个概率分布的差异性的，因此它被广泛的应用于机器学习和深度学习，用来衡量模型学习到的分布和真实分布的差异。要理解交叉熵，需要从信息量、熵、相对熵几个概念开始 信息量 信息奠基人香农认为“信息是用来消除随机不确定性的东西”，因此他提出了信息量的概念，信息量表示一条信息消除不...
交叉熵与多维度交叉熵
博客
09-24 981
关于交叉熵的定义与解释，请看这篇文章： https://baijiahao.baidu.com/s?id=1618702220267847958&wfr=spider&for=pc 给定一个策略, 交叉熵就是在该策略下猜中颜色所需要的问题的期望值。更普遍的说，交叉熵用来衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出成本的大小。交叉的字面意思在于：...
机器学习基础（五十八）—— 香农熵、相对熵（KL散度）与交叉熵
04-28 1万+
香农熵（Shannon entropy）信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。如果一个随机变量 XX 的可能取值为 X={x1,x2,…,xn}X=\{x_1,x_2,\ldots,x_n\}，对应的概率为 p(X=xi)p(X=x_i)，则随机变量 XX 的信息熵为：H(X)=−∑i=1np(xi)logp(xi) H(X)=-\sum
Pytorch学习笔记(8)——在序列标注等多维数据上如何使用交叉熵
LiQZ的博客
08-09 1470
对于多维数据 (例如 (batch_size, max_length, num_classes)) 等模型输出的数据，如何正确使用交叉熵获得损失
交叉熵损失函数 CrossEntropyLoss
m0_56247038的博客
10-09 1124
一文搞懂CrossEntropyLoss（一维和高维）
交叉熵损失函数和准确率图像
weixin_43939514的博客
05-04 1712
交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。 交叉熵的值越小，模型预测效果就越好。 交叉熵经常搭配softmax使用，将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。 主要思想就是首先要定义两个数组，然后将每次迭代时模型的准确率和损失率传入到数组中。一共训练了10次，准确率一次就达到了百分百。 import os os.environ["KMP_DUPLICATE_LIB_O...
交叉熵代价函数（作用及公式推导）
热门推荐
Arthur-Chen的专栏
04-02 12万+
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的输出值与实际值的一种方式。与二次代价函数（Quadratic cost function）相比，它能更有效地配合反向传播算法，促进ANN的训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值