关闭

[置顶] 1 神经网络反向传播算法推导流程

标签: 神经网络
297人阅读 评论(0) 收藏 举报
分类:

下面这俩篇文章不错

Back-propagation, an introduction

1 why 反向传播算法?

  • 1.神经网络损失函数是什么?
  • 2.怎样通过损失函数来更新模型参数,即w,b?
  • 3.重点是如何求损失函数对每一层w,b的导数,假如很多层,如何计算更有效?
  • 4.更新的表达式是什么?

2 反向传播算法的优点?

通过下一层的参数更新值来求这一层的更新值,加快求导过程,即后向传播算法。

3 反向传播算法推导总流程

  • 1.参数定义,以及明确我们的目标是利用反向传播原理来加快对参数求导的过程!!!
  • 2.最后一层对w,b的导数是什么?
  • 3.如何利用后面的层来更新前面的层?即后面层与前面层的关系!
  • 4.权重更新公式!

下图对应上述几个步骤:
这里写图片描述
最后多层推导过程及更新公式可以参考这个:
反向传播算法(过程及公式推导)
多层神经网络BP算法 原理及推导

0
0

猜你在找
【套餐】Hadoop生态系统零基础入门
【套餐】嵌入式Linux C编程基础
【套餐】2017软考系统集成项目——任铄
【套餐】Android 5.x顶级视频课程——李宁
【套餐】深度学习入门视频课程——唐宇迪
【直播】广义线性模型及其应用——李科
【直播】从0到1 区块链的概念到实践
【直播】计算机视觉原理及实战——屈教授
【直播】机器学习之凸优化——马博士
【直播】机器学习&数据挖掘7周实训--韦玮
查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:54448次
    • 积分:3418
    • 等级:
    • 排名:第9740名
    • 原创:302篇
    • 转载:0篇
    • 译文:1篇
    • 评论:15条
    最新评论