CrossEntropyLoss 学习笔记（个人理解）

最新推荐文章于 2024-06-09 10:13:12 发布

f(x)682

最新推荐文章于 2024-06-09 10:13:12 发布

阅读量193

点赞数 1

分类专栏： python与深度学习文章标签：学习深度学习人工智能 python pytorch

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_56216534/article/details/127112669

版权

python与深度学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

交叉熵

直接进入正题，对于一个二分类问题，我们可以定义如下的交叉熵代价函数，

$C = -\frac{1}{n}{\sum_{i=1}^{n}}[y*lna + (1-y)*ln(1-a)]$

其中，n代表总的样本数（batch）。对于真实类别为1的样本，其对应的损失为lna，对于真实类别为0的样本，对应的损失为ln(1-a)。

而将其当做代价函数，本人清楚一下两点原因，其一，它是非负的，其二，如果对于所有的样本输入，其对应的输出越接近真实结果，那么这个loss将越趋向于0。

交叉熵更加常用于多分类任务，此时，这个损失函数应该改写成：

$C = -\frac{1}{n}{\sum_{i=1}^{n}} {y}^{i}*ln {p}^{i}$

其中， ${y}^{i}$ (其值通常为1)中的i代表哪一类样本是正确的， ${p}^{i}$ 代表正确的那一类预测出来的概率。

例如对于以下一段代码，可以明确的计算出CrossEntropyLoss的值：

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
CrossEntropyLoss 学习笔记（个人理解）

对于真实类别为1的样本，其对应的损失为lna，对于真实类别为0的样本，对应的损失为ln(1-a)。，如果对于所有的样本输入，其对应的输出越接近真实结果，那么这个loss将越趋向于0。直接进入正题，对于一个二分类问题，我们可以定义如下的交叉熵代价函数，(其值通常为1)中的i代表哪一类样本是正确的，而将其当做代价函数，本人清楚一下两点原因，其中，n代表总的样本数（batch）。代表正确的那一类预测出来的概率。
复制链接

扫一扫

专栏目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。