向量、矩阵求导的重要公式

书接上文标量、向量与矩阵的求导https://blog.csdn.net/weixin_42764932/article/details/113107265

几个公式要牢记,机器学习算法推导用的上

1. ∂ A x → ∂ x → = A T \frac{\partial A \overrightarrow{x}}{\partial \overrightarrow{x}}=A^{T} x Ax =AT

在这里插入图片描述
可以看到,是向量对向量求导,多用分母布局,求出来的是梯度矩阵

即先按分母行数n拆成行n,再按分子行数m拆成列m
在这里插入图片描述

2. ∂ A x → ∂ x → T = A \frac{\partial A \overrightarrow{x}}{\partial \overrightarrow{x}^{T}}=A x TAx =A

3. ∂ ( x → T A ) ∂ x → = A \frac{\partial(\overrightarrow{x}^{T}A)}{\partial \overrightarrow{x}}=A x (x TA)=A

4. ∂ ( x → T ⋅ A ⋅ x → ) ∂ x → = ( A T + A ) ⋅ x → \frac{\partial(\overrightarrow{x}^{T}\cdot A \cdot \overrightarrow{x})}{\partial \overrightarrow{x}}=(A^{T}+A)\cdot \overrightarrow{x} x (x TAx )=(AT+A)x

5. ∂ t r ( A B ) A = B T \frac{\partial tr(AB)}{A}=B^{T} Atr(AB)=BT

6. ∂ a T X b X = a b T \frac{\partial \boldsymbol{a}^{T}X\boldsymbol{b}}{X}=\boldsymbol{a}\boldsymbol{b}^{T} XaTXb=abT

f = a T X b f=\boldsymbol{a}^{T}X\boldsymbol{b} f=aTXb

  1. 对于标量结果 f f f(loss,一般就是所有loss的加和,标量)将所有偏导值与对应方向的偏微分进行相乘并加和可以得到 f f f 的全微分。

  2. d f df df 等于 ∂ f ∂ X \frac{\partial f}{\partial X} Xf d X dX dX 的内积

  3. 已知相同尺寸的矩阵 A \bm{A} A B \bm{B} B的内积可以表示为 t r ( A T B ) tr(\bm{A^{\mathsf{T}}B}) tr(ATB)

  4. 根据2、3得 ∂ f ∂ X = t r ( ∂ f ∂ X T d X ) \frac{\partial f}{\partial X} = tr(\frac{\partial f}{\partial X}^{T}dX) Xf=tr(XfTdX)

  5. f = a T X b f=\boldsymbol{a}^{T}X\boldsymbol{b} f=aTXb两边取微分,得到 d f = a T ( d X ) b df=a^{T}(dX)b df=aT(dX)b

  6. 两边加上tr标记,我们就可以得到下式 d f = t r ( a T ( d X ) b ) df=tr(a^{T}(dX)b) df=tr(aT(dX)b)

  7. 又由于 t f ( a b ) = t r ( b a ) tf(ab)=tr(ba) tf(ab)=tr(ba),所以 d f = t r ( b ( a T ( d X ) ) ) df=tr(b(a^{T}(dX))) df=tr(b(aT(dX)))

  8. 应用结合律去掉多余的括号 d f = t r ( ( a b T ) T d X ) df=tr((ab^{T})^{T}dX) df=tr((abT)TdX)

  9. 根据4和8,对应出 ∂ f ∂ X = a b T \frac{\partial f}{\partial X}=ab^{T} Xf=abT

其他

https://blog.csdn.net/daaikuaichuan/article/details/80620518?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control

矩阵求导术

上https://zhuanlan.zhihu.com/p/24709748
下https://zhuanlan.zhihu.com/p/24863977

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页