Softmax Loss(Cross Entropy) 与 MLE

最新推荐文章于 2024-03-18 16:08:35 发布

shelly_fun

最新推荐文章于 2024-03-18 16:08:35 发布

阅读量331

点赞数

分类专栏：笔记文章标签：深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_38385468/article/details/121028502

版权

笔记专栏收录该内容

7 篇文章 0 订阅

订阅专栏

Softmax Loss等价于在负对数方向上极小化MLE。

设总体(X,Y)~P， $p$ 为概率密度分布， $x$ 为从总体X中抽取的样本，对应于 $y$ 类，我们希望在给定样本 $x$ 条件下，使得 $P\left ( y\mid x;\theta \right )$ 最大，也即此时 $\theta$ 为 $x$ 属于各类的概率， $y$ 为 $x$ 真实在各类上的概率，注意，此时 $y$ 为one-hot编码。所以，我们求其似然函数有:

$p\left ( y\mid x;\theta \right )=\prod_{k=1}^{K}\theta_{k}^{y_{k}}$ （1）

$\theta_{k}$ 表示第 $k$ 类上的概率， $y_{k}$ 为第k类对应的one-hot标签，也就是说我们希望在K类上，寻找一个分布能够使该分布尽可能表示各个类。注：这里的 $\theta_{k}$ 也就是经由softmax函数得到的 $\hat{y}$ 。再由极大似然估计的流程，得到

这里的 $l\left( y,\hat y \right )$ 就是(1)取对数后的结果。

参考：交叉熵和极大似然估计的再理解 - 知乎

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Softmax Loss(Cross Entropy) 与 MLE

Softmax Loss等价于在负对数方向上极小化MLE。设总体(X,Y)~P，为概率密度分布，为从总体X中抽取的样本，对应于类，我们希望在给定样本条件下，使得最大，也即此时为属于各类的概率，为真实在各类上的概率，注意，此时为one-hot编码。所以，我们求其似然函数有: ...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。