手写数字识别网络结构

非线性网络

输入层+隐含层+隐含层+输出层

隐含层数量增加,模型的表达能力越强

卷积神经网络

 分类任务选择优化目标

分类任务输出是一个标签,类似牛顿第二定律,采用均方误差时,减去一个标签不合理

 

 

 

 

 发现观测数据和背后规律之间的关系,输出某一标签的概率SoftMax,为什么采用e的指数

 最大似然思想

交叉熵分类任务损失函数

 

优化算法:调整学习率

SGD:minibatch 收敛过程中震荡

Momentum:不仅该minibatch的结果,还要包含之前累积的速度

AdaGrad:学习率逐渐下降,越接近越微调

Adam:融合前两者思想Momentum+AdaGrad

 

分布式训练 多卡

 

训练过程中优化

 

 

 

 

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zyb-小波

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值