BN的可训练参数，BN批归一化操作？

批归一化（Batch Normalization，简称BN）是一种深度学习中常用的正则化技术，它有一些可训练的参数，包括：

• 缩放参数（Scale）： 通常用γ表示，它用来调整每个特征的标准差，从而控制特征的缩放。
• 偏移参数（Shift）： 通常用β表示，它用来调整每个特征的平均值，从而控制特征的平移。
• 这两个参数是可训练的，它们允许模型根据数据的分布来动态地调整每个特征的缩放和平移，以提高网络的表现能力

批归一化（Batch Normalization，简称BN）是深度学习中常用的正则化技术之一，用于加速神经网络的训练并提高模型的泛化性能。BN操作本身没有可训练的参数，但在训练过程中会学习两个可训练参数：拉伸（scale）和偏移（shift）。

BN操作的主要思想是在每个批次的训练数据上对每个特征进行归一化，以便加速收敛并减少梯度消失问题。

批归一化（Batch Normalization，简称BN）的操作可以通过以下公式来解释：

• 假设我们有一个包含 m 个样本的 mini-batch，每个样本有 n 个特征。首先，我们计算该 mini-batch 中每个特征的均值（mean）和方差（variance）：