eval模式和train模式的区别

1. Batch Normalization层：

   • 在训练模式下，Batch Normalization (BN) 层会使用当前批次的均值和方差来标准化输入特征，这有助于训练过程中模型的稳定性和收敛速度。
   • 在评估模式下，BN层通常使用整个训练集上计算得到的移动平均均值和方差来进行标准化，以保持测试时的性能一致性。

2. Dropout层：

   • 训练模式下，Dropout层会在前向传播时随机“丢弃”一部分神经元输出，以此实现正则化，防止过拟合。
   • 评估或推断模式下，Dropout层通常不执行丢弃操作，所有的神经元都会参与计算，确保模型在预测时不会出现随机性。

3. 权重更新：

   • 训练模式下，反向传播会计算梯度并更新模型参数。
   • 评估模式下，网络权重是固定的，不会进行任何更新。

4. 计算图保存与跟踪：

   • 在某些情况下（例如自动求导），训练模式下会保留计算图以便于反向传播时追踪梯度。
   • 评估模式下，由于不需要梯度回传，可能不会保存完整的计算图。