OUC深度学习培训

1、AlexNet有哪些特点？为什么可以⽐LeNet取得更好的性能？

AlexNet 的主要特点：

1、更深的网络结构： 相比于 LeNet 仅有 7 层，AlexNet 有 8 层，包括 5 个卷积层、3 个全连接层和 2 个池化层。
2、更大的数据集： 训练 AlexNet 使用了 ImageNet 数据集，包含 120 万张图像，远超 LeNet 训练使用的 MNIST 数据集。
3、ReLU 激活函数：AlexNet 使用 ReLU 激活函数，代替了传统的 sigmoid 函数，提高了训练速度和缓解了梯度消失问题。
4、Dropout 正则化：AlexNet 引入 Dropout 正则化技术，防止过拟合，提高了模型的泛化能力。
数据增强: 使用了数据增强技术，如随机裁剪、水平翻转等，增加了训练数据的多样性。
5、GPU 加速：AlexNet 利用 GPU 的并行计算能力，大幅提升了训练速度。

AlexNet 相比于 LeNet 取得更好的性能的原因：

更深的网络结构: 更深的网络结构能够学习到更复杂的特征，从而提高识别精度。
更大的数据集: 更大的数据集能够提供更多样化的训练样本，使模型能够学习到更丰富的特征。
ReLU 激活函数：ReLU 激活函数比 sigmoid 函数更简单高效，提高了训练速度。
Dropout 正则化：Dropout 正则化能够有效防止过拟合，提高了模型的泛化能力。
数据增强: 数据增强技术能够增加训练数据的多样性，提升模型的鲁棒性。
GPU 加速：GPU 的并行计算能力能够大幅提升训练速度，使得训练更深更复杂的网络模型成为可能。

2、激活函数有哪些作⽤？

（1）引入非线性:
神经网络的核心是学习数据的复杂模式，而线性模型无法表达这种复杂性。激活函数通过引入非线性，使神经网络能够拟合更复杂的函数，从而更好地逼近现实世界中的非线性关系。
如果没有激活函数，神经网络就相当于多个线性层的叠加，最终仍然是线性模型，无法学习非线性特征。
（2）控制输出范围:
某些激活函数可以将神经网络的输出限制在一个特定的范围内，例如sigmoid函数将输出限制在0到1之间。这对于某些任务，例如概率估计，非常有用。
（3）改善梯度下降:
某些激活函数，如ReLU，可以避免梯度消失问题。梯度消失是指在深层神经网络中，梯度信号随着网络层数的增加而逐渐减小，最终导致训练缓慢或无法收敛。
ReLU通过在正值区域保持恒定梯度，有效地解决了梯度消失问题，加速了训练过程。
（4） 增强模型表达能力:
不同的激活函数具有不同的特性，例如ReLU的稀疏性，sigmoid的平滑性等。选择合适的激活函数可以增强模型的表达能力，提高模型的性能。

3、梯度消失现象是什么？

在反向传播过程中，梯度可能会随着层级逐渐向输入层传播时变得越来越小，以至于接近零。此时参数无法再通过梯度下降法进行更新。

4、神经⽹络是更宽好还是更深好？

深度or宽度

5、为什么要使⽤Softmax?

（1）将输出转换为概率分布：
神经网络的输出通常是连续值，而 Softmax 函数将这些值映射到一个介于 0 和 1 之间的概率分布。每个输出值代表一个类别出现的概率，且所有概率的总和为 1。
（2）提高模型的解释性：
Softmax 输出的概率分布能够清晰地显示模型对每个类别的预测置信度，使我们更容易理解模型的预测结果。
（3）简化模型的训练：
Softmax 函数与交叉熵损失函数一起使用，可以简化模型的训练过程。
交叉熵损失函数能够有效地衡量模型预测的概率分布与真实标签之间的差异，并指导模型进行参数更新。
（4）适用于多类别分类：
Softmax 函数能够有效地处理多类别分类问题，将输出转化为概率分布，并通过交叉熵损失函数进行优化。

6、SGD 和 Adam 哪个更有效？

如果数据集比较小，并且希望找到全局最优解，可以选择 SGD。
如果数据集比较大，并且希望训练速度更快，可以选择 Adam。
如果数据存在噪声，可以选择 SGD。
如果数据比较干净，并且希望找到更好的局部最优解，可以选择 Adam。