深度前馈网络

网络结构

$$\begin{gathered} {\mathbf{a}}_{n^{(l)}\times 1}^{(l)}=({\mathbf{W}}_{n^{(l-1)}\times n^{(l)}}^{(l)}{)}^T{\mathbf{z}}_{n^{(l-1)}\times 1}^{(l-1)} \\ {\mathbf{z}}_{n^{(l)}\times 1}^{(l)}=g_l({\mathbf{a}}_{n^{(l)}\times 1}^{(l)}) \\ 其中，\mathbf{W}包含了权重和偏置，每一层增加一个神经元，其值为1；{\mathbf{z}}^{(1)}=\mathbf{x} \end{gathered}$$

目标函数

$$\begin{gathered} J(\mathbf{W})=\frac{1}{2}\sum _{i=1}^N(f({\mathbf{x}}^{(i)}),\mathbf{W}-y^{(i)}{)}^2 \\ \underset{\mathbf{W}}{\min }J(\mathbf{W}) \\ 其中，\mathbf{W}表示所有权重，N表示样本数量 \end{gathered}$$

梯度-反向传播算法（Back propagation）

$\star$对于所有神经单元，运算只涉及到了加法（没有神经单元自身或之间的乘积）

1. 输出层
   $$\begin{gathered} 对于输出层l中的某个单元j，对一个权重{\mathbf{W}}_{ij}^{(l)}求偏导： \\ \frac{\partial J}{\partial {\mathbf{W}}_{ij}^{(l)}}=\frac{\partial J}{\partial {\mathbf{a}}_j^{(l)}}\frac{\partial {\mathbf{a}}_j^{(l)}}{\partial {\mathbf{W}}_{ij}^{(l)}} \\ \frac{\partial {\mathbf{a}}_j^{(l)}}{\partial {\mathbf{W}}_{ij}^{(l)}}=\frac{\partial {\sum }_{k=0}^H{\mathbf{W}}_{ij}^{(l)}{\mathbf{z}}_k^{(l-1)}}{\partial {\mathbf{W}}_{ij}^{(l)}}=\frac{{\sum }_{k=0}^H\partial {\mathbf{W}}_{ij}^{(l)}{\mathbf{z}}_k^{(l-1)}}{\partial {\mathbf{W}}_{ij}^{(l)}}={\mathbf{z}}_i^{(l-1)}（H+1表示权重数，即n^{(l-1)}） \\ \frac{\partial J}{\partial {\mathbf{W}}_{ij}^{(l)}}=\frac{\partial J}{\partial {\mathbf{a}}_j^{(l)}}{\mathbf{z}}_i^{(l-1)} \\ define{\delta }_j=-\frac{\partial J}{\partial {\mathbf{a}}_j^{(l)}} \\ \frac{\partial J}{\partial {\mathbf{W}}_{ij}^{(l)}}=-{\delta }_j{\mathbf{z}}_i^{(l-1)} \\ 在输出层中，若以恒等函数作为激活函数，则 \\ J(\mathbf{w})=\frac{1}{2}({\mathbf{a}}_j^{(l)}-y_j{)}^2 \\ \frac{\partial J}{\partial {\mathbf{a}}_j^{(l)}}={\mathbf{a}}_j^{(l)}-y_j \\ \frac{\partial J}{\partial {\mathbf{W}}_{ij}^{(l)}}=(y_j-{\mathbf{a}}_j^{(l)}){\mathbf{z}}_i^{(l-1)} \end{gathered}$$
2. 隐藏层
   $$\begin{gathered} 对于隐藏层l中的单元j，对一个权重{\mathbf{W}}_{ij}^{(l)}求偏导： \\ \frac{\partial J}{\partial {\mathbf{W}}_{ij}^{(l)}}=\frac{\partial J}{\partial {\mathbf{a}}_j^{(l)}}{\mathbf{z}}_i^{(l-1)} \\ 对于一个样本的某个输出单元： \\ J=\frac{1}{2}(f({\mathbf{a}}^{(l+1)})-y)（f只涉及{\mathbf{a}}_k^{(l+1)}之间的加法） \\ \frac{\partial J}{\partial {\mathbf{a}}_j^{(l)}}=\sum _{k=0}^{n^{(l+1)}}\frac{\partial J}{\partial {\mathbf{a}}_k^{(l+1)}}\frac{\partial {\mathbf{a}}_k^{(l+1)}}{\partial {\mathbf{a}}_j^{(l)}} \\ =-\sum _{k=0}^{n^{(l+1)}}{\delta }_k\frac{\partial {\mathbf{a}}_k^{(l+1)}}{\partial {\mathbf{a}}_j^{(l)}} \\ =-\sum _{k=0}^{n^{(l+1)}}{\delta }_k\frac{\partial {\mathbf{a}}_k^{(l+1)}}{\partial {\mathbf{z}}_j^{(l)}}\frac{\partial {\mathbf{z}}_j^{(l)}}{\partial {\mathbf{a}}_j^{(l)}} \\ =-\frac{\partial {\mathbf{z}}_j^{(l)}}{\partial {\mathbf{a}}_j^{(l)}}\sum _{k=0}^{n^{(l+1)}}{\delta }_k\frac{\partial {\mathbf{a}}_k^{(l+1)}}{\partial {\mathbf{z}}_j^{(l)}} \\ =-g^{\prime }({\mathbf{a}}_j)\sum _{k=0}^{n^{(l+1)}}{\delta }_k{\mathbf{W}}_{jk}^{(l+1)} \end{gathered}$$
   

自动微分和计算图

1. 计算图
   
   1. 静态计算图：编译时构建，程序运行时不可改变–可优化，并行能力强，灵活性差–tensorflow，theano
   2. 动态计算图：运行时动态构建–不容易优化，不利于并行，灵活性强–pytorch
2. 自动微分：函数与参数之间有多条路径，可将多条路径上的导数再进行相加，得到最终的梯度
   1. 前向模式
   2. 反向模式–反向传播

优化问题

1. 参数过多
2. 局部最优
3. 梯度消失–下层参数难调
4. 参数解释困难
5. 计算资源要大
6. 数据要多
7. 算法效率要好–收敛快