Datawhale X 李宏毅苹果书 AI夏令营 学习笔记（三）

批量归一化（Batch Normalization，BN）

        批量归一化通过规范神经网络各层的输入来加速训练并提高模型的稳定性，以此来改善神经网络训练效率，使误差更为平滑，更易于优化。

        特征归一化（feature normalization）是多种在同样数值范围内采用不同的维度来制造比较好的误差表面，让训练变得比较容易一点的方法的统称。

内部协变量偏移（internal covariate shift）

        内部协变量偏移：在深度网络的训练过程中，每一层的输入数据分布会随着网络训练的加深而变化，这种变化可能导致模型训练变得困难，批量归一化通过规范化来减少这种偏移，这也是批量归一化有作用的表现。

        协变量偏移（covariate shift）：训练集和预测集样本分布不一致的问题就叫做协变量偏移现象。

卷积神经网络 

        卷积神经网络（CNN）：主要用于图像识别和分类任务。它通过模拟人类视觉系统的工作原理，利用卷积层来提取图像的特征。

        图像分类：CNN 通过学习图像中的特征来识别图像中的物体。

        张量：图像在 CNN 中被表示为三维张量，其中包含宽度、高度和颜色通道（channel）。

        卷积操作：通过卷积层和滤波器（或称为卷积核）来提取图像的局部特征。

·       感受野（Receptive Field）：每个神经元只关注输入数据的一个局部区域，这个区域称为感受野。感受野的大小可以根据任务需求设定，通常为较小的尺寸如3×3，这样可以有效地捕捉局部特征。

        卷积层（convolutional layer）：卷积层包含许多滤波器，滤波器的尺寸通常是3×3×通道数。

        滤波器（filter）：滤波器作为张量，其中的数值作为模型参数，用于检测图像中的特定模式。滤波器滑动经过图像的不同部分，执行内积计算来识别图像中的模式。

        步幅（Stride）：滤波器在图像上滑动的步长。

        填充（Padding）：在图像边缘补充像素，以控制输出特征图的大小。

        共享参数（parameter sharing）：在卷积层中，相同的滤波器在整个输入图像上滑动，共享权重，减少了模型的参数数量。使得网络能够检测到无论出现在图像何处的相同模式，同时也降低了模型的复杂度。 

        特征映射（Feature Map）：卷积层的输出，表示为多个通道的特征图。

        汇聚（Pooling）：减少特征图的空间尺寸，降低参数数量和计算复杂度，同时保持特征的重要信息。汇聚层通常与卷积层配合使用，用于减小图像尺寸。其保持图像通道数量不变，但减小图像尺寸，从而减少计算量。

        卷积神经网络本身无法处理图像缩放或旋转的情况。为了改善这种情况，可以通过数据增强技术来扩充训练集，例如对图像进行裁剪、旋转等变换，使网络能够识别不同尺度和角度的对象。