交叉熵与均方误差

最新推荐文章于 2024-04-14 18:29:50 发布

_Xiaobo

最新推荐文章于 2024-04-14 18:29:50 发布

阅读量3k

点赞数 1

分类专栏：机器学习文章标签：机器学习基础知识交叉熵

本文链接：https://blog.csdn.net/weixin_41427758/article/details/81545302

版权

机器学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

均方代价函数及不足

均方代价函数:

$L = 1 2 N \sum x | | y (x) - a 2 (x) | | 2$ $L = \frac{1}{2N}\sum_x||y(x)-a^2(x)||^2$
预期：NN在训练时，如果预测值与实际值误差越大，那么反向传播过程中，各种参数的调整的幅度就要更大，从而使训练更快收敛, 然而如果使用均方误差函数，实际有可能误差越大，参数调整的幅度可能更小，训练更缓慢。

$\partial L \partial w = (a - y) σ ‘ x \partial L \partial b = (a - y) σ ‘$ $\frac{\partial L}{\partial w} = (a-y)\sigma^`x \\ \frac{\partial L}{\partial b} = (a-y)\sigma^`$
$w$ 和 $b$ 的梯度跟激活函数的梯度成正比。与期望不符合,若y=0，实际输出为0.8、0.9时，sigmoid在0.9时梯度比0.8低

交叉熵代价函数

交叉熵定义:

L = - 1 N \sum x [y l n a + (1 - y) l n (1 - a)] \partial L \partial w j = - 1 N \sum x (y σ ( z ) - ( 1 - y ) 1 - σ ( z )) \partial σ \partial w j = - 1 N \sum x (y σ ( z ) - ( 1 - y ) 1 - σ ( z )) σ ‘ (z) x j = - 1 N \sum x (y σ ( z ) - ( 1 - y ) 1 - σ ( z )) (σ (z) - y) = 1 N \sum x x j (σ (z) - y)

$L = -\frac{1}{N}\sum_x[ylna+(1-y)ln(1-a)] \\ \frac{\partial L}{\partial w_j} = -\frac{1}{N}\sum_x(\frac{y}{\sigma(z)}-\frac{(1-y)}{1-\sigma(z)}) \\ \frac{\partial \sigma}{\partial w_j} = -\frac{1}{N}\sum_x(\frac{y}{\sigma(z)}-\frac{(1-y)}{1-\sigma(z)}) \\ \sigma^`(z)x_j = -\frac{1}{N}\sum_x(\frac{y}{\sigma(z)}-\frac{(1-y)}{1-\sigma(z)})(\sigma(z)-y) \\ = \frac{1}{N}\sum_xx_j(\sigma(z) - y)$
同理

\partial L \partial b = 1 N \sum x (σ (z) - y)

$\frac{\partial L}{\partial b} = \frac{1}{N}\sum_x(\sigma(z) - y)$

为什么会想到交叉熵？

在均方误差函数下:

\partial L \partial b = (a - y) σ' (z)

$\frac{\partial L}{\partial b} = (a-y) \sigma ^ {'}(z)$
想找到:

\partial L \partial b = a - y

$\frac{\partial L}{\partial b} = a - y$
又有

\partial L \partial b = \partial L \partial a \cdot \partial a \partial z \cdot \partial z \partial b = \partial L \partial a \cdot σ' (z)

$\frac{\partial L}{\partial b} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} \cdot \frac{\partial z}{\partial b} = \frac{\partial L}{\partial a} \cdot \sigma ^ {'}(z)$
即找

\partial L \partial a \cdot σ' (z) = (a - y)

$\frac{\partial L}{\partial a} \cdot \sigma ^ {'}(z) = (a-y)$
对上式两边积分得

L = - [y l n a + (1 - y) l n (1 - a)] + C

$L = -[ylna + (1-y)ln(1-a)] + C$
积分公式

\int 1 ( 1 - a ) d a = \int 1 1 - a + 1 a d a

$\int\frac{1}{(1-a)}da = \int\frac{1}{1-a} + \frac{1}{a}da$

_Xiaobo

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
交叉熵与均方误差

均方代价函数及不足均方代价函数: L=12N∑x||y(x)−a2(x)||2L=12N∑x||y(x)−a2(x)||2L = \frac{1}{2N}\sum_x||y(x)-a^2(x)||^2预期：NN在训练时，如果预测值与实际值误差越大，那么反向传播过程中，各种参数的调整的幅度就要更大，从而使训练更快收敛, 然而如果使用均方误差函数，实际有可能误差越大，参数调整的幅度可能更...
复制链接

扫一扫