【深度学习】中的batch epoch 随机数种子等问题

①epoch、batch:

所有训练样本在神经网络中都进行了一次正向和反向传播(epoch)就是将所有训练样本训练一次的过程。
然而一个Epoch的样本,数量可能过于庞大,需要把它分成几个小块,也就是分成多个Batch进行训练。
Batch:(批/一批样本):
将整个训练样本分成若干个Batch.
Batch_size:每批样本的大小
iteration:训练一个Batch就是一个Iteration.

② 为什么要使用多个epoch

随着epoch数量增加,神经网络的权重更新次数也在增加,曲线由欠拟合会变得过拟合。

③随机数种子

在需要生成随机数据的实验中,每次实验都需要生成数据,设置随机数种子是为了确保每次生成固定的随机数,这就使得实验结果显示一致了。有利于实验的比较和改进,使得每运行一次该.py文件时生成的随机数相同。

④ model.train()与model.eval()

如果模型中有BN层和dropout,需要在训练时添加model.train(),在测试时加model.eval()
在使用python训练中,一定要注意把实例化的model指定为train/eval

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值