机器学习系列12:反向传播算法
当我们要运用高级算法进行梯度下降时,需要计算两个值,代价函数和代价函数的偏导数:
![8dfdea713486006a7f82ce40f1ed8773.png](https://i-blog.csdnimg.cn/blog_migrate/1584165cdf81a577af2d34bdcd9dd32f.jpeg)
代价函数我们之前已经知道怎么求了,现在只需要求代价函数的偏导数即可。
采用如下方法,先进行前向传播算法,然后再进行反向传播算法(Backpropagation Algorithm),反向传播算法与前向传播算法方向相反,它用来求代价函数的偏导数。具体过程看下图:
![112806a0e89747d511278367838bcd57.png](https://i-blog.csdnimg.cn/blog_migrate/242730417dbd407317a8de939673785e.jpeg)
用 δ 作为误差,计算方法为:
![0bb03e0eeef966cd0673a0716c2b885b.png](https://i-blog.csdnimg.cn/blog_migrate/e678dc1875c2982dac7551d0cca808a8.jpeg)
有时我们在运用反向传播算法时会遇到 bug,而且这个 bug 还不容易被发现,因此我们就需要用梯度检验(Gradient Checking)。这种算法的思想就是运用导数估计值去对导数真实值进行检验,去检查反向传播算法运行时是否存在 bug。
都知道,函数在某点的导数近似于该点相邻的两点所连直线的斜率。
![3d26a1786f3755f5a517385a478f7a37.png](https://i-blog.csdnimg.cn/blog_migrate/2088c1248caa99b6a40a653e99118fc8.jpeg)
在函数图像上蓝色线代表该点的导数,红色线代表导数的近似值:
![db79073f0a82216bb57b58d12c0d01ba.png](https://i-blog.csdnimg.cn/blog_migrate/4c7356ee83f14ac076a2164a317628b6.jpeg)
在向量中进行计算就需要对向量中每一个元素都计算一遍,这就需要进行一个循环,而这个循环会非常慢。
![a15979630c9e8b2a4023c23646c84437.png](https://i-blog.csdnimg.cn/blog_migrate/c89497c6c2c8e989ebabf4127fb15346.jpeg)
循环之后得到的结果与运用反向传播得到的结果进行比较,如果两个结果近似相等,那我们就可以认为反向传播算法运行正常,之后就可以关闭梯度检验,继续运行反向传播算法。因为梯度检验的循环导致运行速度太慢了。
神经网络的总结
在训练一个完整的神经网络之前,我们首先要选择一个神经网络结构,也就是选择一个神经元之间关系的模型,通常会是以下这几种情况:
![352bc3bf66ff22344f4b587cf2423a48.png](https://i-blog.csdnimg.cn/blog_migrate/d97da0ef72b26066f474117b0a793186.jpeg)
一般地来讲,最左边这种隐藏层只有一层的结构是最常见的,也是使用最多的。
在选好神经网络结构后,就可以训练神经网络模型了,一共有 6 个步骤:
1.随机初始化权重;
2.运用前向传播算法对每一个输入值 x^((i)) 得到输出值;
![49596e0b29347b2e12d43d7c3d991680.png](https://i-blog.csdnimg.cn/blog_migrate/94a717ea5b0737eb78d40767579cdf2b.jpeg)
3.计算代价函数;
4.运用反向传播算法计算代价函数的偏导数;
5.使用梯度检验确定反向传播算法是否正常工作,如果检验没有问题,就要关闭梯度检验,因为梯度检验算法运行速度非常慢;
6.使用高级优化算法去进行梯度下降,使得代价函数最小化,从而得到参数向量。