1、使用great大佬的baseline,上线分数是0.68左右,现在调整epochs的数量,查看相应的上线分数
提升了0.009左右,排名在153这里。
后续持续更新上分过程!
理解训练神经网络中基本的三个概念
Epoch,Batch,Iteration
| 名词 | 定义 |
|---|---|
| Epoch | 使用训练集的全部数据对模型进行一次完整的训练,被称为“一代训练” |
| Batch | 使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新,这一小部分样本被称为“一批数据” |
| Iteration | 使用一个Batch数据对模型进行一次参数更新的过程,被称为“一次训练” |
- 换算关系
N u m b e r o f B a t c h e s = T r a i n i n g S e t S i z e B a t c h S i z e Number \ of \ Batches = \frac{Training\ Set\ Size}{Batch\ Size} Number of Batches=Batch SizeTraining Set Size
实际上,梯度下降的几种方式的根本区别就在于上面公式中的Batch Size不同。
| 梯度下降方式 | Training Set Size | Batch Size | Number of Batches |
|---|---|---|---|
| BGD | N | N | 1 |
| SGD | N | 1 | N |
| Mini-Batch | N | B | N/B+1 |
*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。
本文介绍了神经网络训练中的核心概念——epochs、batch和iteration,通过调整epochs数量提升模型性能,从0.68的上线分数提升到0.689,目前排名153。探讨了不同梯度下降方式下batch size的影响,并提供了相关换算关系。后续将继续分享优化过程。

被折叠的 条评论
为什么被折叠?



