batch_size对精确度和损失的影响

1 问题

在深度学习的学习过程中，模型性能对batchsize虽然没有学习率那么敏感，但是在进一步提升模型性能时，batch_size就会成为一个非常关键的参数。

batch_size对精度和损失的影响研究。

batch_size = [,32,64,128，256]

1. 不同batch_size下的训练精度曲线；

2. 不同batch_size下的训练Loss曲线；

3. 不同batch_size下的验证精度曲线；

4. 不同batch_size下的验证Loss曲线；

基础参数配置：

1. 训练周期=40

2. 学习率=0.001

3. 优化器= SGD

2 方法

在此之前，我们已经实现了全网络连接MNIST手写数字模型建立，一些参数对模型的精确度和损失产生影响，例如，学习率（learn_rate）、batch_size等。

针对batch_size对模型的影响，将定义一个方法，把batch_size = [32,64,128，256]

数据可视化，使用matplotlib绘制

Batchsize=32

Batchsize=64

Batchsize=128

Batchsize=256

数据可视化，使用matplotlib绘制四个子图，关键代码如下：

结果如下：

3 结语

batch_size取值32训练和取64和128训练，train vall 的loss下降趋势32>64>128>256,最终结果也是32>64>128>256差不多，train vall 的acc,的最终结果32=64>128>256，其中64的trainacc最先大于vallacc,可能是实验偶然的结果，对于只有十个的分类，可以将batch调到32附近，这样可以提高精度，降低训练时长。