笔记(1)：基于梯度的优化方法

神经网络的表示

假设一个深度神经网络有$nl$层网络，输入为 $(X,y)$ 那么深度神经网络可以一般表示为

$$y^{'}=f(W,X,b)=f_{nl}(W^{nl},f_{nl-1}(W^{nl-1},f_{nl-2}(...f_1(W^1,X,b_1)...,b_{nl-2}),b_{nl-1}),b_{nl})$$
即前一层的输出是下一层的输入， 也就是任意一层可以看作是关于前一层输出的函数。
训练深度神经网络，也就是使 $y$ 与 $y^{'}$ 之间的误差最小，即关于 $y$ 和 $y^{'}$ 的函数 $L(y,y^{'})$最小。由 $y^{'}$ 的表达式我们可得
$$L(y,y^{'})=L(y,f(W,X,b))$$
由于 $(X,y)$已知，故求解 $L(y,y^{'})$ 的最小值问题又可以转化成如何调整 $W$ 的值从而使 $L$ 最小。
需要注意的是在前馈（forward）中，即求 $y^{'}$ 时 $y^{'}$ 是关于 $X$ 的函数，而在BP中，是调整权值 $W$ 以使损失函数 $L$ 达到最小。

梯度下降

对于一个函数 y=f(