Pytorch深度学习入门--优化函数、学习速率与反向传播算法

优化函数、学习速率与反向传播算法

优化函数

1.定义: 是用于训练机器学习模型的算法，用于调整模型的参数以最小化（或最大化）一个定义良好的目标函数——损失函数或成本函数（Loss/Cost Function）。优化函数通过迭代的方式，根据模型的预测输出和真实标签之间的差异，逐步更新模型参数，使得模型能够更好地拟合训练数据并在未见过的数据上表现良好。
2.梯度下降法: 梯度下降法是一种致力于找到函数极值点的算法。将梯度下降法应用于寻找损失函数的极值点。梯度的输出是一个由若干偏导数构成的向量，它的每个分量对应于函数对输入向量的相应分量的偏导：

3.常见的优化函数:
优化器 (optimizer) 是根据反向传播计算出的梯度，优化模型参数的内置方法
SGD：随机梯度下降优化器 随机梯度下降优化器SGD和min-batch是同一个意思，抽取m个小批量（独立同分布）样本，通过计算他们梯度平均值。
RMSprop：经验上，RMSProp被证明有效且实用的深度学习网络优化算法。RMSProp增加了一个衰减系数来控制历史信息的获取多少，RMSProp会对学习率进行衰减。通常是训练循环神经网络RNN。
Adam优化器：Adam算法可以看做是修正后的Momentum+RMSProp算法。.Adam通常被认为对超参数的选择相当鲁棒。Adam 是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam 通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率

学习速率

1.定义: 梯度就是表明损失函数相对参数的变化率，对梯度进行缩放的参数被称为学习速率（learning rate），学习速率是一种超参数或对模型的一种手工可配置的设置需要为它指定正确的值。如果学习速率太小，则找到损失函数极小值点时可能需要许多轮迭代；如果太大，则算法可能会“跳过”极小值点并且因周期性的“跳跃”而永远无法找到极小值点。在具体实践中，可通过查看损失函数值随时间的变化曲线，来判断学习速率的选取是合适的。

反向传播算法

1.定义: 反向传播算法是一种高效计算数据流图中梯度的技术，每一层的导数都是后一层的导数与前一层输出之积，这正是
链式法则的奇妙之处，误差反向传播算法利用的正是这一特点。
前馈时，从输入开始，逐一计算每个隐含层的输出，直到输
出层。然后开始计算导数，并从输出层经各隐含层逐一反向传播。为了减少计算量，还需对所有已完成计算的元素进行复用。
这便是反向传播算法名称的由来。