关于batch_size的一些个人理解

最新推荐文章于 2024-06-20 00:30:09 发布

yoiyamil

最新推荐文章于 2024-06-20 00:30:09 发布

阅读量628

点赞数 1

文章标签： batch pytorch 深度学习

本文链接：https://blog.csdn.net/weixin_45924225/article/details/128774346

版权

本文探讨了深度学习中batch_size的概念及其对模型训练的影响。解释了batch_size的选择如何影响梯度更新、计算资源需求以及模型泛化能力。讨论了小批量与大批量训练的优缺点，并给出了调整batch_size的实践建议。

摘要由CSDN通过智能技术生成

# batch_size的理解
# 有一个被我无数次忘了的前提，图片本身也是一个下面这样的行列，每个元素的数字表示颜色之类的。
# 比如上面的CIFAR10的数据集中每张图片的尺寸是3x32x32，即一个三通道(RGB)的，32x32的行列。
# 这一张图片就是一个数据组，里面包含着3x32x32=3072个数字
import torch 
from torch import nn 
from torch.utils.data import DataLoader
example_1 = torch.tensor([[[1, 2, 0, 3],
                           [0, 1, 2, 3],
                           [1, 2, 1, 0],
                           [5, 2, 3, 1]],
                          [[1, 4, 6, 3],
                           [0, 1, 5, 3],
                           [2, 2, 1, 0],
                           [5, 2, 2, 1]],
                          [[1, 4, 6, 3],
                           [0, 1, 5, 3],
                           [2, 2, 1, 0],
                           [5, 2, 2, 1]],
                          [[1, 4, 6, 3],
                           [0, 1, 5, 3],
                           [2, 2, 1, 0],
                           [5, 2, 2, 1]]], dtype=torch.float32)  #