交叉熵和对数损失函数之间的关系

最新推荐文章于 2024-05-08 21:59:51 发布

Selina_linxu

最新推荐文章于 2024-05-08 21:59:51 发布

阅读量8.8k

点赞数 9

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_38625259/article/details/88371462

版权

目录

相对熵/KL散度

对数损失函数

交叉熵和对数损失函数之间的关系

交叉熵

熵/信息熵

假设一个发送者想传输一个随机变量的值给接收者。这个过程中，他们传输的平均信息量为：

$\large H[x]=-\sum_xp(x){log}_{2}p(x)$

$\large H[x]$ 叫随机变量 $\large x$ 的熵，其中 $\large lim_{p\rightarrow 0}p{log}_2p=0$

把熵扩展到连续变量 $\large x$ 的概率分布 $\large p(x)$ ,则熵变为

$\large H[x]=-\int p(x)lnp(x)dx$

被称为微分熵。

在离散分布下，最大熵对应于变量的所有可能状态的均匀分布。

最大化微分熵的分布是高斯分布

$\large p(x)=\frac{1}{(2\pi\sigma ^2)^{1/2}}exp\{-\frac{(x-u)^2}{2\sigma ^2}\}$

相对熵/KL散度

考虑某个未知分布 $\large p(x)$ ，假设我们使用一个近似分布 $\large q(x)$ 对其进行建模。如果我们使用 $\large q(x)$ 来建立一个编码体系，用来把 $\large x$ 传递给接收者，由于我们使用了 $\large q(x)$ 而不是真实分布 $\large p(x)$ ，因此在具体化 $\large x$ 时，我们需要一些附加信息。我们需要的附加信息量为：

$\large KL(p||q)=-\int p(x)lnq(x)dx-(-\int p(x)lnp(x)dx)$

$\large =-\int p(x)ln\{\frac{q(x)}{p(x)}\}dx$

这被称为分布 $\large p(x)$ 与分布 $\large q(x)$ 之间的相对熵，或者KL散度。KL散度大于等于零，当两个分布一致时等于零。

交叉熵

交叉熵本质上可以看成，用一个猜测的分布的编码去编码真实的分布，得到的信息量：

$\large CEH(p,q)=-\sum_{x\in\chi }p(x)lnq(x)=H(p)+D_{KL}(p||q)$

$\large CEH(p,q)$

$\large =-\sum_{x\in\chi }p(x)lnq(x)$

$\large =-[P_p(x=1)lnP_q(x=1)+P_p(x=0)P_q(x=0)]$

$\large =-[plnq+(1-p)ln(1-q)]$

$\large =-[ylnh_\theta(x)+(1-y)ln(1-h_\theta(x))]$

对所有训练样本取均值得到：

$\large -\frac{1}{m}\sum_{i=1}^{m}y_ilog(h_\theta(x_i))+(1-y_i)log(1-h_{\theta(x_i)})$

对数损失函数

对数损失函数的表达式为：

$\large -\frac{1}{m}\sum_{i=1}^{m}y_ilog(h_\theta(x_i))+(1-y_i)log(1-h_{\theta(x_i)})$

参见https://blog.csdn.net/qq_38625259/article/details/88362765

交叉熵和对数损失函数之间的关系

交叉熵中未知真实分布 $\large p(x)$ 相当于对数损失中的真实标记 $\large y$ ，寻找的近似分布 $\large q(x)$ 相当于我们的预测值。如果把所有样本取均值就把交叉熵转化成了对数损失函数。

关注

9
点赞
踩
28

收藏

觉得还不错? 一键收藏
0
评论
交叉熵和对数损失函数之间的关系

目录交叉熵熵/信息熵相对熵/KL散度交叉熵对数损失函数交叉熵和对数损失函数之间的关系交叉熵熵/信息熵假设一个发送者想传输一个随机变量的值给接收者。这个过程中，他们传输的平均信息量为：叫随机变量的熵，其中把熵扩展到连续变量的概率分布,则熵变为被称为微分熵。在离散分布下，最大熵对应于变量的所有可能状态的均匀分布。最大化微分熵的分布是...
复制链接

扫一扫

Selina_linxu CSDN认证博客专家 CSDN认证企业博客

码龄7年

4: 原创

47万+: 周排名

223万+: 总排名

1万+: 访问

: 等级

253: 积分

1: 粉丝

15: 获赞

2: 评论

40: 收藏

私信

关注

热门文章

最新评论

Bagging算法原理
piika..: 请问II这个符号是什么
机器学习逻辑回归LR原理
lmw0320: 我觉得这里有点混乱。。一个是，拟合函数是什么，是ln(y/(1-y)) = w^t X 吧？那损失函数呢？应该就是文章中提到的目标函数。。因为要使得拟合函数达到最佳的预测效果，就是要让损失值达到最小，即最小化损失函数。此时的损失函数，是要优化的目的，也因此变为了目标函数。。不知道这样的理解是否正确

大家在看

酒店押金原路退回系统开通方法，手机查看报表 414

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。