Datawhale X 李宏毅苹果书 AI夏令营 进阶 Task3-批量归一化+卷积神经网络

1.批量归一化

批量归一化（Batch Normalization，BN）：一种用于改善神经网络训练过程的技术，通过规范化层的输入来加速训练并提高模型的稳定性。

1.1 考虑深度学习

γ 和 β 参数：BN 引入了可学习的参数 γ（缩放因子）和 β（平移因子），以允许模型调整归一化后的特征。

1.2 测试时的批量归一化

训练与测试：在训练时，BN 使用当前批量的统计数据来归一化；在测试时，使用训练过程中累积的移动平均统计数据。

1.3 内部协变量偏移

在深度网络中，每一层的输入分布会随着网络训练而变化，BN 通过规范化来减少这种偏移。

2.卷积神经网络

卷积神经网络（CNN）：主要用于图像识别和分类任务。它通过模拟人类视觉系统的工作原理，利用卷积层来提取图像的特征。

2.1 观察 1：检测模式不需要整张图像

2.2 简化 1：感受野

卷积神经网络会设定一个区域，即感受野（receptivefield），每个神经元都只关心自己的感受野里面发生的事情，感受野是由我们自己决定的。

2.3 观察 2：同样的模式可能会出现在图像的不同区域

2.4 简化 2：共享参数

在卷积层中，相同的滤波器在整个输入图像上滑动，共享权重，减少了模型的参数数量。

2.5 简化 1 和 2 的总结

全连接层：在卷积网络的最后，通常使用全连接层来进行分类。
特征映射（Feature Map）：卷积层的输出，表示为多个通道的特征图。

2.6 观察 3：下采样不影响模式检测

下采样：通过减少图像的分辨率来提取图像中的主要特征，同时减少计算量。

2.7 简化 3：汇聚

汇聚（Pooling）：减少特征图的空间尺寸，降低参数数量和计算复杂度，同时保持特征的重要信息。

2.8 卷积神经网络的应用：下围棋