爱奇艺剧本情感分析上分之路

1、使用great大佬的baseline,上线分数是0.68左右,现在调整epochs的数量,查看相应的上线分数

提升了0.009左右,排名在153这里。

后续持续更新上分过程!

理解训练神经网络中基本的三个概念

Epoch,Batch,Iteration

名词定义
Epoch使用训练集的全部数据对模型进行一次完整的训练,被称为“一代训练”
Batch使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新,这一小部分样本被称为“一批数据”
Iteration使用一个Batch数据对模型进行一次参数更新的过程,被称为“一次训练”
  • 换算关系

N u m b e r   o f   B a t c h e s = T r a i n i n g   S e t   S i z e B a t c h   S i z e Number \ of \ Batches = \frac{Training\ Set\ Size}{Batch\ Size} Number of Batches=Batch SizeTraining Set Size

实际上,梯度下降的几种方式的根本区别就在于上面公式中的Batch Size不同。

梯度下降方式Training Set SizeBatch SizeNumber of Batches
BGDNN1
SGDN1N
Mini-BatchNBN/B+1

*注:上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值