深度学习笔记（3）

最新推荐文章于 2024-07-25 18:25:30 发布

Caffego

最新推荐文章于 2024-07-25 18:25:30 发布

阅读量132

点赞数

分类专栏：深度学习文章标签：机器学习深度学习

本文链接：https://blog.csdn.net/Caffego/article/details/107666986

版权

深度学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本小结继续整理神经网络（多层）

本小结重点是反向传播，该知识点有些晦涩，可参考这篇辅助理解。https://www.cnblogs.com/Bw98blogs/p/9023060.html

1、计算隐藏层输出节点的误差是解决多层神经网络中权重校正的关键，反向传播算法是多层神经网络的代表性学习规则，能够确定隐藏层误差。理解链式法则、偏导的物理含义对于掌握反向传播至关重要。在反向传播算法中，输出误差从输出层开始反向移动，直至到达输入层右侧的那个隐藏层。

2、在反向传播算法中，隐藏层节点的误差定义：来自该隐藏层右侧邻近一层的反向传播增量的加权和，隐藏层节点的误差由反向传播增量的加权和计算得出。可参考这篇辅助理解。http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

3、记输入样本数为n，第i个样本的输入值、输出值以及对应的预测值为（ $x_{i},y_{i},g_{i}$ ），其中（ $x_{i},y_{i},g_{i}$ ）都是列向量，那么:

1)随着某个输出单元预测值 $^{g_{i}}_{}$ 的变化，整个网络的总误差会按照该输出单元预测值与真实值之间的差值（ $g_{i}-y_{i}$ ）的速率变化;

2)随着某个输出单元总输入值 $^{z_{i}}_{}$ 的变化，整个网络的总误差会按照（ $g_{i}-y_{i}$ ） $\varphi \left ( z_{i} \right )$ 的速率变化，其中 $\varphi \left ( * \right )$ 是该输出节点的激活函数;

3)记某个输出层左侧隐藏层输出预测值 $^{G_{i}}$ ，随着该隐藏层与输出层之间的权重的变化，整个网络的总误差会按照（ $g_{i}-y_{i}$ ） $\varphi \left ( z \right )*{G_{i}}$ 的速率变化;

4、代价函数也称为损失函数或者目标函数，是一个与优化理论有关的数学概念。对于神经网络的监督学习来说，有俩种主要的代价函数，即： $J=\sum \frac{1}{2}\left (d _{i} -y_{i}\right )^{2}$ 和 $J=\sum \left [ -d_{i} ln\left (y _{i} \right )\right -\left ( 1-d_{i} \right ) ln\left (1-y _{i} \right )\right \right ]]$ ，后者是交叉熵函数，即：

$\left\{\begin{matrix}-ln\left ( y \right ), d=1 & \\ -ln\left ( 1-y),d=0 \right & \end{matrix}\right.$ ，交叉熵函数随着误差增大而呈现几何上升趋势，故对误差更敏感，用交叉熵驱动的学习规则训练降低误差的速度更快。因此普遍认为由交叉熵函数驱动的学习规则能够产生更好的性能。除一些特殊要求外，如回归等可以不使用交叉熵驱动的学习规则（因为平方差损失函数还能够让误差趋向更均匀），其他情况推荐使用交叉熵驱动的学习规则。