优化函数、学习速率、反向传播

多层感知器

梯度下降算法

编译模型时优化方法使用的是梯度下降算法。梯度下降算法是一种致力于找到函数极值点的算法。前面介绍过，所谓“学习”便是改进模型参数，以便通过大量训练步骤将损失最小化。有了这个概念，将梯度下降法应用于寻找损失函数的极值点便构成了依据输入数据的模型学习。

学习速率

梯度就是表明损失函数相对参数的变化率，对梯度进行缩放的参数被称为学习速率（learning rate）。是一种超参数(人为规定参数)或对模型的一种手工可配置的设置。

需要为它指定合适的值。如果学习速率太小，则找到损失函数的极小值点就要迭代很多轮；如果太大，则算法可能会“跳过”极值点并且会因周期性的“跳跃”而永远无法找到极小值点。

在具体实践中，可以通过查看损失函数值随时间的变化曲线，来判断学习速率的选取是否是合适的。

合适的学习速率，损失函数值随时间下降，到达一个底部；不合适的学习率，损失函数可能会发生震荡。

在调整学习速率时，既需要使其足够小，保证不至于发生超调，也要保证它足够大，以使损失函数能够尽快下降，从而可通过较少次数的迭代更快地完成学习。

反向传播算法

反向传播算法是一种高效计算数据流图中梯度的技术，每一层的导数都是后一层的导数与前一层输出之积，这正是链式法则的奇妙之处，误差反向传播算法利用的正是这一特点。

前馈时，从输入开始，逐一计算每个隐含层的输出，知道输出层。计算出loss值。

然后开始计算导数，并从输出层经各隐含层逐一反向传播。对每一层梯度进行下降。为了减少计算量，还需要对所有已完成计算的元素进行复用。这便是反向传播算法名称的由来。

常见的优化函数

优化器是编译模型所需的两个参数之一。可以先实例化一个优化器对象，然后将它传入model.compile()，或者可以通过名称来调用优化器。在后一种情况下，将使用优化器的默认参数。

SGD：随机梯度下降优化器
随机梯度下降优化器SGD和min-batch是同一个意思，抽取m个小批量（独立同分布）样本，通过计算他们平均梯度值。

RMSProp：经验上，RMSProp被证明是有效且实用的深度学习网络优化算法。它增加了一个衰减系数来控制历史信息的获取多少，RMSProp会对学习率进行衰减。常用在RNN网络和文本识别。

Adam优化器：Adam算法可以看做是修正后的Momentum+PMSProp算法算法。通常被认为对超参数的选择很有鲁棒性（不敏感），学习率建议为0.001。
Adam是一种可以替代传统随机梯度下降过程的一-阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。

optimizer = tf.keras.optimizers.Adam(learning_rate=0.01)  # 实用Keras自带优化器实例Adam，默认学习率为0.001