batchsize和数据量设置比例_训练过程--Batchsize（先不整理了，总之一般情况下batchsize能设多大就设多大）...

训练过程--Batchsize(先不整理了，总之一般情况下batchsize能设多大就设多大)

发布时间：2018-12-06 15:15,

浏览次数：3888

, 标签：

Batchsize

尽可能地设大batchsize "Large Batch

Large Batch在 keypoints上也是有用的，大概能提到0.4到0.3的点的AP。"

在利用 ImageNet 训练 AlexNet 模型时，其中每 GPU 的最优批量大小为 512。如果我们希望使用大量 GPU 并保证每 GPU

皆拥有理想的执行效率，则应当将批量大小设定为 16 x 512 = 8192。 "Train的batch是多少？

我们训练的时候根据输入图像的尺寸不同，batch_size在20到64之间。"

SGD 算法的 batch size 并不能无限制地增大。SGD 采用较大的 batch size 时，如果还是使用同样的 epochs

数量进行运算，则准确度往往低于 batch size 较小的场景 ; 而且目前还不存在特定算法方案能够帮助我们高效利用较大的 batch size。

对于大批量训练场景，我们需要确保使用较大的 batch size 训练能够在相同 epochs 前提下获得与较小的 batch size

相近的测试准确度。这里我们之所以保持 epochs 数量不变，是因为从统计学角度来讲，一个 epoch 代表着算法与整体数据集接触一次 ;

而从计算角度来讲，固定 epochs 数量意味着保证浮点运算次数不变。

Batch_Size 既然 Full Batch Learning 并不适用大数据