【神经网络】超参数 批大小batchsize 的理解

batchsize：一次训练的样本数目

对于图片数据，一般输入的数据格式为 （样本数，图片长，图片宽，通道数），样本数也就是批大小。

我对批大小的疑问在于：一个批次的数据前向传播后只得到一个cost/loss值， 它是由所有样本计算loss再求平均得到。那么一批中的图片都是不一样的，求的loss也不一样梯度也不一样，但是在神经网络中每一层都是只用一个梯度去更新，这样合理吗。

合理。因为求和求平均，对于单个图像可能不是最好的收敛，但是对于整体是最好的，而我们的神经网络的目的就是对整体、对所有数据表现良好。

当然，批大小也不是越大越好，需要正道内存效率和内存容量之间的最佳平衡。

增大批大小，处理速度会加快，训练的振动幅度减小，更容易收敛，同时所需的内存容量增加。

批大小太小会难以收敛（容易理解，不同数据之间差异可能比较大，批次太小的话，适合了这个批次却不适合下一个批次，所以一直震荡难以收敛）