这篇博客探讨了分类问题中交叉熵损失函数的推导过程，从二分类问题开始，介绍了如何通过sigmoid激活函数将输出规范化。博主解释了最大化条件概率的目标，通过ln函数转换，提出损失函数L(y^, y)。接着，讨论了多分类问题，指出它是二分类的拓展，涉及softmax激活，并提到了OVO和OVR策略。最后，给出了多分类问题的损失函数形式。"
86602424,8289846,Linux磁盘管理：分区、挂载、文件系统与加密,"['Linux系统', '磁盘管理', '文件系统', '分区', '加密']
交叉熵损失函数的推导过程
以二分类为例，假设我们使用的激活函数为sigmoid，即将输出规范化在 [ 0 , 1 ] [0,1] [0,1]之间， p ( y ∣ x ) p(y|x) p(y∣x)表示在给定 x x x的基础上输出为 y y y的概率。我们设： 当 y = 1 时 ： p ( y ∣ x ) = y ^ 当 y=1时：p(y|x)=\hat{y} 当y=1时：p(y∣x)=y^
则：
当 y = 0 时 ： p ( y ∣ x ) = 1 − y ^ 当 y=0时：p(y|x)=1 - \hat{y} 当y=0时：p(y∣x)=1−y^
把上述两个表达式合并成一个，则：
p ( y ∣ x ) = y ^ y ( 1 − y ^ ) 1 − y p(y|x) = \hat{y}^y(1-\hat{y})^{1-y} p(y∣x)=
最低0.47元/天 解锁文章
9093
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
