梯度中心化优化

 

梯度中心化（gradient centralization，GC）

开源实现：

https://github.com/Yonghongwei/Gradient-Centralization/blob/31caa1d49e7760e62a64a54eabc8f2403fddf38a/GC_code/Fine-grained_classification/SGD.py

效果还没试

 

下表 8 展示了 Faster R-CNN 的平均精度（Average Precision，AP）。我们可以看到，在目标检测任务上，使用 GC 训练的所有骨干网络均实现了约 0.3%-0.6% 的性能增益。

SGDM 和 SGDM+GC

研究者开源了论文中所提方法，使用 PyTorch 实现。包括 SGD_GC、SGD_GCC、SGDW_GCC、Adam_GC、Adam_GCC、AdamW_GCC 和 Adagrad_GCC 多种优化器，其相应实现在 SGD.py 中提供。后缀为「_GC」的优化器使用 GC 对卷积层和全连接层进行优化，而后缀为「_GCC」的优化器仅可用于卷积层。