神网经典实例练习

摘要：神经网络的核心组件，即层、网络、目标函数和优化器；
基本步骤：

1. 加载数据
2. 构建网络：
3. 编译
4. 训练

一、优化器：

1、SGD随机梯度下降

2、动量

优点：网络在优化的时候网络的损失函数有一个很好的收敛速度同时又不至于摆动幅度太大。

Momentum 通过加入 ，可以加速 SGD， 并且抑制震荡

超参数设定值: 一般 γ 取值 0.9 左右。

可以使得梯度方向不变的维度上速度变快，梯度方向有所改变的维度上的更新速度变慢，这样就可以加快收敛并减小震荡。

3、RMSProp（root mean square prop）

RMSProp是Geoffrey Hinton教授在教案中提到的算法，结合梯度平方的指数移动平均数来调节学习率的变化。能够在不稳定（Non-Stationary）的目标函数