1、使用great大佬的baseline,上线分数是0.68左右,现在调整epochs的数量,查看相应的上线分数
提升了0.009左右,排名在153这里。
后续持续更新上分过程!
理解训练神经网络中基本的三个概念
Epoch,Batch,Iteration
名词 | 定义 |
---|---|
Epoch | 使用训练集的全部数据对模型进行一次完整的训练,被称为“一代训练” |
Batch | 使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新,这一小部分样本被称为“一批数据” |
Iteration | 使用一个Batch数据对模型进行一次参数更新的过程,被称为“一次训练” |
- 换算关系
N u m b e r o f B a t c h e s = T r a i n i n g S e t S i z e B a t c h S i z e Number \ of \ Batches = \frac{Training\ Set\ Size}{Batch\ Size} Number of Batches=Batch SizeTraining Set Size
实际上,梯度下降的几种方式的根本区别就在于上面公式中的Batch Size不同。
梯度下降方式 | Training Set Size | Batch Size | Number of Batches |
---|---|---|---|
BGD | N | N | 1 |
SGD | N | 1 | N |
Mini-Batch | N | B | N/B+1 |
*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。