![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
文章平均质量分 79
优化器、优化策略、反向传播推导等
本初-ben
深度学习、计算机视觉业余爱好者
展开
-
训练集、测试集、验证集与交叉验证
初学者对于训练集(train set)、测试集(test set)、验证集(validation set)这三个概念和应用非常容易搞混,这里我结合各种博文和书籍上的讲解进行总结:训练集参与训练,模型从训练集中学习经验,从而不断减小训练误差。这个最容易理解,一般没什么疑惑。验证集不参与训练,用于在训练过程中检验模型的状态,收敛情况。验证集通常用于调整超参数,根据几组模型验证集上的表现决定哪组......原创 2020-04-13 16:26:51 · 8144 阅读 · 2 评论 -
Batch size对神经网络训练的影响
本文主要参考知乎问题“怎么选取训练神经网络时的Batch size?”下的回答首先摆出结论:在CPU/GPU内存允许的前提下,batch_size不能太小,也不能太大(几千上万)。对于我们日常使用的显卡(显存4~32GB),batch_size一般设置为几十到几百,同时选取较大batch_size往往能有更好的收益。解释:(1)使用单个单核的CPU进行训练时,batch_size=n相对于batch_size=1来说,计算量(计算时间)提升了n倍,但训练效果(使误差降低的倍数)为sqrt(n)倍.原创 2021-06-07 17:04:07 · 1212 阅读 · 1 评论