指数加权平均（EMA）

指数加权平均（Exponential Moving Average）是一种计算平均值的方法，它给予最近的数据点更高的权重。这种方法在许多实时数据处理场景中非常有用，因为它可以减少随机波动的影响，并快速适应数据的最新变化。EMA的处理是一个平滑过程，目的是在整个训练过程中捕捉更一般和稳定的统计特性。

批归一化（Batch Normalization，BN）中的 moving_mean 和 moving_var，这两个参数是在整个训练过程中累积的，用于在模型的推理或测试阶段对数据进行归一化。

在每个训练批次中，moving_mean 和 moving_var 的更新可以用以下公式表示：

• Moving Mean 更新： 

     其中， 是当前批次数据的均值， 是衰减系数（通常接近 1）。

• Moving Variance 更新：

     其中，​ 是当前批次数据的方差。

解释：

• 衰减系数：这是一个介于 0 和 1 之间的参数，决定了历史统计信息在总平均中的权重。较高的  值意味着历史统计信息将有更大的影响，从而使 moving_mean 和 moving_var 变化更平滑。
• 更新机制：每次接收到新的批次数据时，当前批次的均值和方差都会以一定的权重与累积的 moving_mean 和 moving_var 结合。这种加权平均方法确保了新数据对模型的影响，同时保持了对历史数据的一定记忆。