深度学习笔记（二）训练批次 batch_size的设置问题

---

前言

本帖子主要记录深度学习编程过程中的一些笔记，欢迎指导批评。博主使用的是 win11+CUDA11.4.0+CUDNN11.4+pytorch1.10+python3.6的配置环境，在pycharm中编程。

---

提示：以下是本篇文章正文内容，部分内容参考自pytorch官网文档。

一、batch_size方面的一些结论梳理

  前段时间集中精力对有关batch_size方面的一些博客进行阅读，对其中一些我认为重要或比较有意义的结论进行梳理，在这里会附上每个结论对应的原始博客，欢迎大家一起学习交流。

  主要由三点结论 ：

1. 对于一个固定学习率，存在一个最优的batch_size能够最大化测试精度，注意batch_size的大小与学习率呈正相关，即：较大的batch_size需要匹配较大的学习率；
   参考：
   深度学习中学习率和batchsize对模型准确率的影响中第4节 学习率和batchsize的关系

2. 在其他超参数一致的情况下，batch_size过小会造成模型不收敛，而batch_size过大则需要花费更长的训练时间，因而存在一个临界的batch_size可以在训练时间上达到最优；
   参考：
   深度学习中的batch的大小对学习效果有何影响？的第一个大佬的回复

3. 较大的batch_size带给模型非常大的梯度更新或者非常小的梯度更新，会令模型更加关注于数据集中的特定样品，因而模型训练和测试会收敛到一个尖锐的极小值，而较小的batch_size则会收敛到一个平稳的较小值。
   参考：原文是一篇外文博客，可能需要“爬”一下，题目为：
   Effect of batch size on training dynamics

二、总结

  本篇就不给出具体的程序代码以及图片证明了，有兴趣的朋友可以直接点击相关链接查看，这里我简单说一下我最近的一些新的感悟：
（1）我在找有关batch_size设定的讨论时，发现有一些结论是相互矛盾的，一半的回复者说小的batch_size（如：1，4，8）有助于提升模型泛化能力，另一半则在说大的batch_size（如：128，256）可能会产生较低的模型泛化能力，每次看到这些内容我都十分的疑惑，甚至我质疑这些大的、小的的明确界限是什么？因此对于这类问题，必须自己切身的建立一个关于batch_size的数组实验一下，这也是深度学习的魅力所在啊！
（2）这里给出的三点是比较定性或通常的认知，使用大的batch_size必须要高级些的显卡，不过快慢与显卡的算力相关。我的设备由于显卡内存的限制设置batch_size为2，但匹配的是batch_size为5时的学习率，稍后我会找一个云平台试一下大的batch_size是否可以获得更高的精度。
（3）找到的有关batch_size的说法都较早，2022年在超参数的调整的关注度远低于之前，不过该参数的调整确实是一个难题，其受致因素众多，因此较好的方法仍是在一些前辈的基础上去调整该参数范围，在参考值附近设计实验，减少非必要的计算量。