深度学习归一化与正则化

深度学习归一化与正则化

1.归一化(Normalization)

定义：归一化是指通过某种算法将输入数据或神经网络层的激活值处理后限制在我们需要的特定范围内。它的目的是为了方便后续的数据处理，并加快程序的收敛速度。归一化的主要作用是统一样本的统计分布。在0到1之间的归一化代表的是概率分布，而在其他区间内的归一化则表示的是坐标分布。

作用：加速训练收敛、防止梯度消失或爆炸、提高模型的泛化能力、提高数值稳定性。

常见方法：Normalization Layers

• 数据归一化。包括Min-Max归一化和Z-score归一化
• 批量归一化（Batch Normalization）
• 层归一化（Layer Normalization）
• 权重归一化（Weight Normalization）
• 实例归一化（Instance Normalization）
• 层实例归一化（Layer Instance Normalization）

2.正则化(Regularization)

定义：正则化是指为解决适定性问题或过拟合而加入额外信息的过程。在机器学习和逆问题的优化过程中，正则项往往被加在目标函数当中。

作用：防止过拟合、提高模型泛化能力。（过拟合是指模型在训练数据上表现得很好，但在新数据（测试数据）上表现不佳，意味着模型捕捉到了训练数据中的噪声和细节，而没有学到数据的真正结构。正则化通过限制模型的复杂度，使其更好地泛化到新数据中）

常见方法：

• L1 正则化（Lasso Regularization）
• L2 正则化（Ridge Regularization）
• Dropout正则化
• 数据增强
• 提前停止（Early Stopping）
• 数据正则化（Data Normalization）
• 权重剪枝（Weight Pruning）
• 数据集的缩小（Subset of Data）
• 对抗训练（Adversarial Training）

😃😃😃