07自动求导(李沐深度学习笔记)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这里求导可以参看上一节这张图, ∂ < x , w > ∂ w = x T ∂ w ∂ w + w T ∂ x ∂ w = x T ∂ w ∂ w = x T \frac {\partial <x,w>}{\partial w}=x^T\frac{\partial w}{\partial w}+w^T\frac{\partial x}{\partial w}=x^T\frac{\partial w}{\partial w}=x^T w<x,w>=xTww+wTwx=xTww=xT,因为 ∂ w ∂ w = 1 \frac{\partial w}{\partial w}=1 ww=1, ∂ x ∂ w = 0 \frac{\partial x}{\partial w}=0 wx=0
在这里插入图片描述

在这里插入图片描述
这里的 ∂ X w ∂ w \frac{\partial Xw}{\partial w} wXw的X与w无关,可以提出来,因为 ∂ w ∂ w = 1 \frac{\partial w}{\partial w}=1 ww=1,所以最后 ∂ X w ∂ w = X × 1 = X \frac{\partial Xw}{\partial w}=X \times 1=X wXw=X×1=X
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
MXNet和TensorFlow都可以显示构造计算图,数学上都是这样显示的构造,先有公式再代入值
在这里插入图片描述
MXNet和Pytorch可以隐式的构造
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值