从概率视角深入理解交叉熵损失函数

最新推荐文章于 2024-06-16 22:35:30 发布

奔跑的根号3

最新推荐文章于 2024-06-16 22:35:30 发布

阅读量272

点赞数

文章标签：机器学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_53262883/article/details/129892429

版权

一、似然函数

似然函数是一个函数，自变量是概率。一个例子快速帮助理解

抛掷一枚特制的银币10次，正面向上出现7次，反面向上出现3次，问，正面的概率P是多少？

答案是不言而喻的？

怎么计算呢？

其实这个过程就利用了似然函数

假设正面概率为 $\theta$

$P = \theta ^{7}*(1-\theta^{3})=L(\theta )$

注意，上面以 $\theta$ 为自变量的函数就叫做似然函数

我们使得“正面向上出现7次，反面向上出现3次”这一事件发生的概率最大

即 $max L(\theta )$ 时候的 $\theta$ 就是我们要求的 $\theta$

直接上图

$\theta$ 取0.7时达到最大值。

很神奇吧，我们一开始居然能一下子说出 $P = \theta ^{7}*(1-\theta^{3})=L(\theta )$ 的极大值点为0.7。

二、多分类交叉熵损失

我们继续一个例子来帮助直观理解

给定一个三面体，有A/B/C三面，做二十次抛掷，记录落地一面，出现的结果为A10,B3,C7

仍然来求每面朝地的概率pa,pb,pc

这个时候，有两个未知数pa,pb,1-pa-pb

我们可以向上边一样列出似然函数，并且可以直接得出极值点

对于一个多变量的优化问题，其实可以视为只出现两种结果，A和非A

因此仍然可以通过二分类进行求解

同样的，在机器学习中，给定标签0，0，1

对应于实验中出现的次数

奔跑的根号3

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
从概率视角深入理解交叉熵损失函数

似然函数是一个函数，自变量是概率。一个例子快速帮助理解抛掷一枚特制的银币10次，正面向上出现7次，反面向上出现3次，问，正面的概率P是多少？答案是不言而喻的？怎么计算呢？其实这个过程就利用了似然函数假设正面概率为注意，上面以为自变量的函数就叫做似然函数我们使得“正面向上出现7次，反面向上出现3次”这一事件发生的概率最大即时候的就是我们要求的直接上图取0.7时达到最大值。很神奇吧，我们一开始居然能一下子说出的极大值点为0.7。
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。