深度学习 - 模型的优化和过拟合问题

优化函数、学习速率与反向传播算法

学习速率（learning_rate）

梯度就是表明损失函数相对参数的变化率,对梯度进行缩放的参数被称为学习速率（learning rate）；
学习速率是一种超参数或对模型的一种手工可配置的设置,需要为它指定正确的值。

如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代；如果太大，则算法可能会“跳过”极小值点并且因周期性的“跳跃”而永远无法找到极小值点。

在具体实践中，可通过查看损失函数值随时间的变化曲线，来判断学习速率的选取是合适的。

• 合适的学习速率，损失函数随时间下降，直到一个底部;
• 不合适的学习速率，损失函数可能会发生震荡。

不同的学习率会有会对模型有影响

学习速率选取原则

在调整学习速率时，既需要使其足够小，保证不至于发生超调， 也要保证它足够大，以使损失函数能够尽快下降，从而可通过较少次数的迭代更快地完成学习。

反向传播算法

反向传播算法是一种高效计算数据流图中梯度的技术每一层的导数都是后一层的导数与前一层输出之积，这正是链式法则的奇妙之处，误差反向传播算法利用的正是这一特点。前馈时，从输入开始，逐一计算每个隐含层的输出，直到输出层。然后开始计算导数，并从输出层经各隐含层逐一反向传播。为了减少计算量，还需对所有已完成计算的元素进行复用。
这便是反向传播算法名称的由来。

优化器(optimizer)的选择与调用

优化器(optimizer)的原理与选择：常见优化器总结
优化器 (optimizer) 是编译模型的所需的两个参数之一。有两种方法将优化器传入model.compile()：

• 通过名称来调用优化器，只能使用优化器的默认参数optimizer='adam'；
• 也可以传入实例化的优化器对象，可以进行调参数（optimizer=tf.keras.optimizers.Adam(learning_rate=0.01)）。

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.01),
             loss='sparse_categorical_crossentropy',
             metrics=['acc'])

上下方法是等价的，效果相同

model.compile(optimizer='adam,
             loss='sparse_categorical_crossentropy',
             metrics=[