深度学习考研复试基本知识点

1.什么是深度学习

深度学习是一种机器学习的方法，它通过模拟人脑处理数据的方式来让计算机学习。简单来说，就是让计算机通过多层的神经网络自动学习数据的特征和规律。深度学习在图像识别、语音识别、自然语言处理等领域都取得了很大的成功。

2.梯度下降算法

梯度下降是一种优化算法，用来找到损失函数最小值。想象一下你在山顶上，想要找到最快到达山脚的路径，梯度下降就像是这样做的：它计算当前位置每一步应该迈多大，迈的方向就是当前位置最陡峭的下坡方向，也就是梯度的方向。通过不断重复这个过程，你就能逐渐接近山脚，也就是损失函数的最小值。

在深度学习中，梯度下降帮助我们调整模型的参数，以最小化预测结果和真实值之间的误差。

学习率

学习率是梯度下降算法中的一个重要参数，它决定了在每次迭代中，我们沿着梯度方向更新参数时迈出的步伐有多大。如果学习率设置得太高，我们可能会跳过最小值，导致算法发散；如果设置得太低，算法会收敛得很慢，需要更多的迭代次数。找到合适的学习率很重要，它需要在快速收敛和稳定性之间取得平衡。

学习率可以根据梯度自动调整。

随机梯度下降算法

 随机梯度下降（Stochastic Gradient Descent，简称SGD）是梯度下降的一种变体，它在更新模型参数时使用的梯度是基于数据集的一个随机样本或一小批样本计算得到的，而不是在整个数据集上计算梯度。这样做的好处是可以大大加快计算速度，尤其是在数据集非常大的时候。

随机梯度下降通过随机选择一个样本（或一小批样本）来估计梯度，这样做虽然每次迭代的梯度估计都有噪声，不够精确，但长期来看，它仍然能