机器学习中使用的交叉熵（cross entropy）透彻分析

最新推荐文章于 2023-09-27 09:37:48 发布
最新推荐文章于 2023-09-27 09:37:48 发布
阅读量1.2k 收藏
点赞数 3
分类专栏： Machine Learning 文章标签： 概率论 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37957160/article/details/106545872
版权
本文详细介绍了交叉熵的概念，从信息量、熵、相对熵（KL散度）逐步展开，强调交叉熵在衡量概率分布差异及机器学习中损失函数的作用。在分类问题中，交叉熵常与softmax配合使用，其值越小代表模型预测效果越好。
摘要由CSDN通过智能技术生成

从字面分析交叉熵，1是交叉、2是熵（熵与信息量有关）；首先交叉熵涉及信息论里面的东西，想要彻底理解交叉熵就要明白此概念跟信息量的关系以及里边的熵怎么理解。

（1）信息量

衡量信息量可以用大小或者多少来形容，就是你传达的信息能别人带来多大的价值感吧，首先我说明天会下雨，这句话的信息量有多少呢？（我也不知道啊，哈哈）但是你说中国疫情现在已经结束了；mei国疫情也已经结束了。显然仅凭直觉，我们可以看出你要传达的第二句话比第一句话的信息量要大，因为中国的疫情我们大家很显然知道已经结束了，这句话发生概率几乎为1，而meiguo刚刚我们观察还处在很严重的阶段，你说他已经结束了这件事发生的概率很小几乎为0，但是你传达给我了一个几乎不会发生的事情发生了。证明我获得了我不知道的信息得到了很大的信息量。

由此我们可以总结出：那么信息量应该和事件发生的概率有关。所以当越不可能的事件发生了，我们获取到的信息量就越大；越可能发生的事件发生了，我们获取到的信息量就越小。因此一个具体事件的信息量应该是随着其发生概率而递减的，且不能为负。

因此衡量信息量大小的公式为：

假设X是一个离散型随机变量，其取值集合为

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Upupup6
关注
专栏目录
订阅专栏
透彻理解机器学习中极大似然估计MLE的原理（附3D可视化代码)
捡起一束光的博客
12-27 3383
在机器学习中，我们经常会遇到极大似然估计(Maximum Likelihood Estimation, MLE)，本文将带你好好理解这个概念。极大似然估计的依据：概率最大的事件最有可能发生，或者说真实发生的事情总是概率最大的...
机器学习——交叉熵python实现
09-10
机器学习——交叉熵python实现，基于TensorFlow，一般在机器学习做loss评估。
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
热门推荐
史丹利复合田的博客
01-25 25万+
关于交叉熵在loss函数中使用的理解 交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。
机器学习_交叉熵
yeldon的博客
10-12 845
1. 引言 我们都知道损失函数有很多种：均方误差（MSE）、SVM的合页损失（hinge loss）、交叉熵（cross entropy）。这几天看论文的时候产生了疑问：为啥损失函数很多用的都是交叉熵（cross entropy）？其背后深层的含义是什么？如果换做均方误差（MSE）会怎么样？下面我们一步步来揭开交叉熵的神秘面纱。 2. 交叉熵的来源 2.1 信息量 一条信息的信息量大小和它的不确定性有很大的关系。一句话如果需要很多外部信息才能确定，我们就称这句话的信息量比较大。比如你听到“云南西双版
机器学习中的交叉熵
Q_M_X_D_D_的博客
10-13 799
信息量 熵在信息学中的概念就是一个系统“内在的混乱程度”，也可以理解为系统中所含的信息量大小。比如说一句话：“杨倩在东京奥运会中夺得了金牌”，如果在东京奥运会之前说这句话，那么这句话包含的信息量就很大，因为在赛前杨倩能不能拿金牌是一件非常不确定的事；但是当奥运会结束后，这句话包含的信息量就非常小了，因为杨倩已经确定拿了金牌。所以信息量也可以定义为：事件又不确定变为确定的困难程度。假设将信息量定义为：f(x) := 信息量 ...
一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉 - 史丹利复合田的博客 - CSDN博客1
08-03
在机器学习中，交叉熵损失函数（Cross-Entropy Loss）常被用来作为优化的目标，帮助模型调整参数以最小化预测分布和真实分布之间的差异。对于多分类问题，交叉熵损失函数可以写为： L = -∑(y_i * log(q_i))， ...
【NLP】再看交叉熵损失函数
让算法融入生活，改变生活！
01-06 1438
Focal Loss for Dense Object Detection 交叉熵 在深度学习领域出现交叉熵（cross entropy）的地方就是交叉熵损失函数了。通过交叉熵来衡量目标与预测值之间的差距。了解交叉熵还需要从信息论中的几个概念说起。 信息量 如何衡量一条信息包含的信息量？加入我们有以下的两个事件： 事件1：年底昆明要下雪 事件2：年底哈尔滨要下雪 凭直觉来说，事件1的信息量比事件2的信息量大，因为昆明一年四季如春，下雪的几率非常小。所以当越不可能的事件发生了，我们获取到的信息量就越大。越可能
深度学习在生产环境中实际使用时的挑战与解决方案
最新发布
程序员光剑
09-27 805
随着互联网、云计算等新兴技术的发展和应用，深度学习技术也得到了越来越多的关注。深度学习的各种模型在图像分类、目标检测、自然语言处理等领域都取得了不错的效果，可谓是深度学习领域的先锋。但是，深度学习技术在生产环境中的应用仍然面临诸多难题。本文通过分析深度学习技术在实际生产环境中的几个典型问题，从根本上阐述其挑战及其解决方案。深度学习作为一个新兴技术，其实现方法各异、工具繁多、环境复杂，使得开发、训练、部署深度神经网络模型成为一项复杂而耗时任务。
交叉熵-组合优化问题仿真
01-11
交叉熵方法应用于组合优化问题的求解，与小概率事件仿真的思想相同但又有差异。
交叉熵在机器学习中的使用
Liz1111的博客
07-29 204
交叉熵在机器学习中的使用 1、信息量 概率越小，信息量越大，事件\(X=x_0\)的信息量为： \[I(x_0)=-log(p(x_0))\] 2、熵 熵表示所有信息量的期望： \[H(x)=-\sum_{i=1}^n p(x_i)log(p(x_i))\] 其中n代表事件X有n种可能 3、相对熵（KL散度） \[D_{KL}(p||q)=\sum_{i=1}^np(x_i)log(\f...
2.20机器学习：交叉熵 信息熵 相对熵
Captain_DUDU的博客
02-20 294
01信息熵 02单位bit 默认2 为底 03联合熵 pX 交叉熵的计算 二类损失
机器学习-交叉熵
qq_25799253的博客
02-20 369
信息熵可以理解为是对“不确定性”的量度，而非对“确定性”的量度，熵大，信息量多，即不确定性很大。某件事概率越大，不确定性越小，所以熵是关于概率的单调递减函数（“信息熵”的百度百科） ...
机器学习——交叉熵
qq_45802081的博客
03-30 89
学习记录： 学习链接-1 学习链接2
交叉熵-机器学习
迪迦 • 奥特曼
03-03 250
在介绍交叉熵损失函数之前， 我们首先来介绍信息学中熵(Entropy)的概念。 1948 年，Claude Shannon 将热力学中熵的概念引入到信息论中， 用来衡量信息的不确定度。 熵在信息学科中也叫信息熵，或者香农熵。 熵越大，代表不确定性越大，信息量也就越大。 某个分布 P(i)P(i)P(i) 的熵定义为 H(P)=−∑p(i)log2P(i) H(P) = -\sum p(i)log_2P(i) H(P)=−∑p(i)log2​P(i) 实际上， H(P)H(P)H(P)也可以使用其他底数的lo
机器学习 - 交叉熵Cross Entropy
长风破浪会有时，直挂云帆济沧海
04-13 9124
机器学习 - 交叉熵Cross Entropy 1. 二值交叉熵 Binary Cross Entropy 假设训练数据 D={(x1,y1),(x2,y2),...,(xn,yn)}D={(x1,y1),(x2,y2),...,(xn,yn)}D = \{(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)\} , 其中 x∈Rnx∈Rnx \in R^n ...
机器学习：交叉熵从理论到代码
Hanze的博客
07-15 634
交叉熵
一文了解机器学习中的交叉熵
喜欢打酱油的老鸟
02-06 2596
https://www.toutiao.com/a6654435108105224712/   2019-02-05 16:46:49 熵 在介绍交叉熵之前首先介绍熵（entropy）的概念。熵是信息论中最基本、最核心的一个概念，它衡量了一个概率分布的随机程度，或者说包含的信息量的大小。 首先来看离散型随机变量。考虑随机变量取某一个特定值时包含的信息量的大小。假设随机变量取值为x，对应的...
crossentropy java_交叉熵(Cross Entropy loss)
05-16
交叉熵（Cross Entropy）是一种用于度量两个概率分布差异的方法。在机器学习中，交叉熵常用于分类问题中的损失函数。交叉熵损失函数可以用来衡量模型输出和真实标签之间的差异，从而帮助我们优化模型。 在Java中，可以通过以下方式计算交叉熵损失函数： ```java public static double crossEntropy(double[] y_true, double[] y_pred) { double loss = 0.0; for (int i = 0; i < y_true.length; i++) { loss += y_true[i] * Math.log(y_pred[i]) + (1 - y_true[i]) * Math.log(1 - y_pred[i]); } return -loss; // 取负号，因为我们要最小化损失函数 } ``` 其中，`y_true`代表真实标签，`y_pred`代表模型预测的标签概率分布。这里假设`y_true`和`y_pred`的长度相同。在计算过程中，我们首先对每个标签的交叉熵损失进行累加，最后再取负号，因为我们要最小化损失函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Upupup6

写手不易请留下你的打赏鼓励谢谢

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值