ImageNet 训练

ImageNet上训练ResNet-50：

ImageNet上训练AlexNet：

我们亦观察到目前业界领先的各类方案的 batch szie 区间仍然比较有限，其中 AlexNet 为 1024，而 ResNet-50 为 8192。如果我们在 AlexNet 模型训练当中将 batch size 增加至 4096，则 100 epochs 情况下的准确度仅能达到 53.1%（如表 4 所示）。我们的目标是在使用更大 batch size 的情况下至少达到 58% 的准确度。

参考文章：
https://blog.csdn.net/yh0vlde8vg8ep9vge/article/details/84207286
https://blog.csdn.net/bigbennyguo/article/details/104705048/
https://m.sohu.com/a/192850201_470008