自动微分(Automatic Differentiation)简介

转载地址:https://blog.csdn.net/aws3217150/article/details/70214422

上面的文章写的非常好,不多做介绍,只说下自己对于两种自动微分的理解。

1. 首先不认同后向自动微分就是backprop这种说法,只能说两者都依赖于chain rule,形式上类似。且NN的backprop的情况是,输入x确定,结构不确定;反观后向微分,是x不确定,而结构确定的。

2. 再说下计算效率问题

    前向算法:假设有n维度输入,我们观察算法,发现用1个输出对n个输入做微分需要计算n轮。因为中间任意个节点对于每个维 度的输入都需要求导,而每一轮计算做的事情都是节点对单一维度的输入求导。但如果是1维输入,n个输出,仍然只需要计算1轮(只要明白计算上的依赖性,这点很容易理解)。

    后向算法:后向算法和前向算法刚好反过来,不做赘述

如此,对于多输入单输出,后向算法是比较省时间的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值