PSML Ch5 神经网络（Neural Networks）

1. 典型的神经网络结构(MLP)

- 前向传播：

2. 提高泛化性能(generalization)

1. 隐藏层的参数应该大于输入/输出层，否则会损失信息
2. 使用非线性激活函数(use nonlinear active function)
3. 包含跳层 (include skip-layer connection)
   注：skip-layer与CNN常用的drop out类似.

3. 神经网络的输出形式

1. 回归问题，线性输出，均方误差和表示误差
2. 二分类问题，sigmoid输出，交叉损失表示误差
3. 多分类问题，softmax输出，多类交叉损失表示误差（亦适用于二分类）

4. 误差逆传播

BP算法证明如下：

算法流程：

1. 对输入的向量x,使用前向传播算法计算各神经元的输出
2. 使用(5)式计算${\delta }_k$
3. 利用(7)式反向传播误差，得到${\delta }_j$
4. 使用(3)式计算导数(用来梯度下降)