[Datawhale#5] DL学习笔记-3 - Datawhale X 李宏毅苹果书 AI夏令营

批量归一化

1. 什么是批量归一化？

批量归一化是一种深度学习技术，用于加速神经网络的训练并提高模型的稳定性。它通过对每个小批次的训练样本进行标准化，使其均值接近0，方差接近1，从而减少模型训练中的内部协变量变化。

2. 批量归一化的工作原理

批量归一化在每个隐藏层的激活函数之前应用。首先对每个小批次的数据计算均值和方差，然后进行标准化。最后通过两个可学习的参数对归一化结果进行缩放和平移，恢复模型的表达能力。

3. 优点

• 加速训练速度，允许使用更高的学习率。
• 缓解梯度消失和爆炸问题，保持梯度稳定。
• 提高模型的泛化能力，减少过拟合。

卷积神经网络

卷积神经网络是一种专门用于处理数据具有网格状结构的深度学习模型，特别擅长图像和视频等视觉任务。CNN通过使用卷积层来提取输入数据的特征，使用池化层来减少维度，保留重要信息。它由输入层、多个卷积和池化层、全连接层以及输出层组成。

核心组件

1. 卷积层：通过卷积核滑动窗口操作提取特征，学习局部特征模式。
2. 池化层：下采样特征图，减少数据量，控制过拟合。
3. 全连接层：将高维特征映射到输出空间，用于分类或回归