吴恩达机器学习笔记十五 什么是导数 计算图 大型神经网络案例

文章讨论了函数J(w)的导数计算,通过增加量ε的变化分析J(w)的增量,介绍了前向传播和后向传播在大型神经网络中的计算图示例,展示了如何利用这些方法在Python中高效求解导数。
摘要由CSDN通过智能技术生成

假设函数 J(w)=w^2,当 w=3 时, J(w)=3*3=9

当我们给w增加一个很小的量时,观察J(w)如何变化

例如 w=3+0.001, 则J(w)=9.006001,因此当w=3且增加一个变化量 ε 时,J(w)将会增加 6ε,也就是此时J(w)对 w 的导数值为6.

在python中求导

计算图(computation graph)

如下图中由边或箭头连接的结点

 

 前向传播(forward prop):从左往右计算

后向传播(back prop):从后往前计算 J 对每一个的导数,是一种有效计算导数的方法,可以减少重复计算

 

大型神经网络案例,计算图如下 

 

  • 10
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值