DatawhaleX李宏毅苹果书AI夏令营#进阶TASK2笔记

在上一篇笔记中，已经学习了传统的梯度下降法，通过这种方式去寻找loss函数的最小值，使得利用机器学习解决问题成为可能。

在经典的梯度下降法基础上，自适应学习率的提出，使得模型在训练过程中能够更好地适应不同参数的更新需求，从而提升收敛速度和效果。本笔记将围绕线性模型的自适应学习率和分类问题，进行整理。

自适应学习率

1.1 什么是自适应学习率

自适应学习率是指在训练过程中，根据梯度信息自动调整学习率的策略。传统的梯度下降法通常使用固定的学习率，这种做法在面对不同梯度大小和不同特征的情况下，往往效果不佳。自适应学习率通过动态调整学习率来应对这一问题，使得训练过程更加高效。

1.2 为什么需要自适应学习率

在训练深度学习模型时，梯度的大小和方向可能会有很大差异。一些参数的梯度可能会非常小，而另一些则可能非常大。如果使用固定学习率，可能会导致某些参数更新过快，而另一些更新过慢，进而影响模型的收敛性和训练效果。因此，自适应学习率的引入，能够根据每个参数的特性，个性化调整学习率，从而提高模型训练的稳定性和效率。

1.3 自适应学习率的实现

自适应学习率的实现方法有多种，其中较为常用的包括：

AdaGrad：AdaGrad根据参数的历史梯度动态调整学习率。具体而言，当某个参数的梯度较大时，学习率会减小；而当梯度较小时，学习率会增大。这样可以确保在训练初期快速收敛，而在接近最优解时则会趋缓。

RMSProp：RMSProp对AdaGrad进行了改进，考虑到了梯度的时间衰减，使得新的梯度信息能够更快地影响学习率的调整。通过设置一个平滑因子α，RMSProp能够在更新时加大新梯度的权重，从而更好地适应训练过程中的变化。

Adam：Adam结合了动量和自适应学习率的优点，使用动量来考虑过去梯度的影响，同时引入了自适应学习率来调整每个参数的更新步长。由于其较好的收敛性和灵活性，Adam已经成为深度学习中广泛使用的优化算法。

分类问题概述

2.1 分类与回归的关系

分类问题是深度学习中最常见的任务之一，其目标是根据输入数据将样本分到特定的类中。与回归问题不同，分类的输出是离散的标签，而不是连续的数值。尽管两者在目标上有所不同，但分类问题可以被视为回归问题的一种特殊情况。

在分类任务中，输出层通常会使用激活函数（如Softmax）来将模型的输出转化为概率分布，从而能够将输入数据映射到具体的类别上。

2.2 分类的损失函数

在分类问题中，常用的损失函数包括均方误差和交叉熵。虽然均方误差可以用于分类，但当类别数量较多且分布不均时，交叉熵损失函数通常更为有效。交叉熵损失函数能够更好地处理分类问题的概率分布，最大化预测概率与真实标签之间的相似度。

2.3 使用Softmax的原因

在分类过程中，Softmax函数用于将模型的输出转换为类别的概率分布。Softmax通过对输出进行归一化处理，使得所有类别的预测值相加等于1，这样可以更直观地理解每个类别的预测概率。通过Softmax层，模型能够更有效地进行多类分类任务。

2.4 自适应学习率在分类中的优势

自适应学习率在分类任务中能够显著提升模型的训练效果，主要体现在以下几个方面：

提高收敛速度：通过动态调整学习率，自适应学习率能够更快地走向最优解，特别是在面对复杂的损失面时，可以减少震荡现象。

增强稳定性：自适应学习率能够有效控制参数更新的幅度，避免由于学习率过大而导致的模型不稳定。

更好地适应特征：不同特征可能会有不同的影响力，自适应学习率能够根据每个参数的梯度特征，合理地调整更新步长。

通过对TASK2部分的学习，我们深入理解了线性模型自适应学习率的概念及其在分类问题中的应用。自适应学习率为深度学习模型的训练带来了巨大的灵活性和效率，使得模型能够在复杂的损失面上快速收敛。此外，分类问题作为深度学习中的重要应用，通过合理的损失函数和激活函数设计，能够有效提升模型的表现。