线性代数基础(矩阵微分)

1. 矩阵行列式、转置、逆具有可交换性;

  • ∣ A T ∣ = ∣ A ∣ T , ∣ A − 1 ∣ = ∣ A ∣ − 1 , ( A − 1 ) T = ( A T ) − 1 , t r ( A T ) = t r ( A ) |A^T|=|A|^T, |A^{-1}|=|A|^{-1},(A^{-1})^T=(A^{T})^{-1},tr(A^T)=tr(A) AT=AT,A1=A1,(A1)T=(AT)1,tr(AT)=tr(A)
  • ∣ A B ∣ = ∣ B ∣ ∣ A ∣ , ( A B ) T = B T A T , ( A B ) − 1 = B − 1 A − 1 , t r ( A B ) = t r ( B A ) |AB|=|B||A|,(AB)^T=B^TA^T,(AB)^{-1}=B^{-1}A^{-1},tr(AB)=tr(BA) AB=B∣∣A,(AB)T=BTAT,(AB)1=B1A1,tr(AB)=tr(BA)
  • t r ( A + B ) = t r ( A ) + t r ( B ) , ( A + B ) T = A T + B T tr(A+B)=tr(A)+tr(B),(A+B)^T=A^T+B^T tr(A+B)=tr(A)+tr(B),(A+B)T=AT+BT
  • ∣ A + B ∣ ≠ ∣ A ∣ + ∣ B ∣ , ( A + B ) − 1 ≠ A − 1 + B − 1 |A+B|\ne|A|+|B|,(A+B)^{-1}\ne A^{-1}+B^{-1} A+B=A+B,(A+B)1=A1+B1

2. 函数对矩阵的导数

在这里插入图片描述

3. 梯度

向量函数 f ( x ) f(\mathbf x) f(x)关于向量 x \mathbf x x的导数(两个重点:向量函数,对向量求导),
在这里插入图片描述

在这里插入图片描述在这里插入图片描述在这里插入图片描述特别地, d x T x d x = 2 x ( j u s t   r e m e m b e r ) \frac{d\mathbf{x^Tx}}{d\mathbf x}=2\mathbf x (just~remember) dxdxTx=2xjust remember

4. 二范数求导结果

利用上面的结果,可以由复合函数的链式法则 ∂ f ( x ) ∂ x = ∂ g ( h ( x ) ) ∂ h ( x ) ⋅ ∂ h ( x ) ∂ x \frac{\partial f(x)}{\partial x}=\frac{\partial g(h(x))}{\partial h(x)} \cdot \frac{\partial h(x)}{\partial x} xf(x)=h(x)g(h(x))xh(x) ( A x − b ) T W ( A x − b ) (Ax-b)^TW(Ax-b) (Axb)TW(Axb)关于 x x x的导数(令 h = A x − b h=Ax-b h=Axb)
∂ ∂ x ( A x − b ) T W ( A x − b ) = ∂ ( A x − b ) ∂ x ⋅ 2 W ( A x − b ) = 2 A T W ( A x − b ) \begin{aligned} \frac{\partial}{\partial x}(\mathbf{A} x-b)^{\mathrm{T}} \mathbf{W}(\mathbf{A} x-b) &=\frac{\partial(\mathbf{A} x-b)}{\partial x} \cdot 2 \mathbf{W}(\mathbf{A} x-b) \\ &=2 \mathbf{A}^T \mathbf{W}(\mathbf{A} x-b) \end{aligned} x(Axb)TW(Axb)=x(Axb)2W(Axb)=2ATW(Axb)
这个在求最小二乘法范数距离的最小化的时候很有用
∂ ∣ ∣ A x − b ∣ ∣ 2 2 ∂ x = ∂ ( A x − b ) T ( A x − b ) ∂ x = 2 A T ( A x − b ) \frac{ \partial||Ax-b||^2_2 }{\partial x}=\frac{\partial(Ax-b)^T(Ax-b)}{\partial x}=2A^T(Ax-b) x∣∣Axb22=x(Axb)T(Axb)=2AT(Axb)

5. 矩阵乘法微分规则

∂ x T a ∂ x = ∂ a T x ∂ x = a ∂ A B ∂ x = ∂ A ∂ x B + A ∂ B ∂ x \begin{array}{c} \frac{\partial \boldsymbol{x}^{\mathrm{T}} \boldsymbol{a}}{\partial \boldsymbol{x}}=\frac{\partial \boldsymbol{a}^{\mathrm{T}} \boldsymbol{x}}{\partial \boldsymbol{x}}=\boldsymbol{a} \\ \frac{\partial \mathbf{A} \mathbf{B}}{\partial \boldsymbol{x}}=\frac{\partial \mathbf{A}}{\partial \boldsymbol{x}} \mathbf{B}+\mathbf{A} \frac{\partial \mathbf{B}}{\partial \boldsymbol{x}} \end{array} xxTa=xaTx=axAB=xAB+AxB

A − 1 A = I \mathbf{A}^{-1} \mathbf{A}=\mathbf{I} A1A=I 和 式 ( A . 23 ) (\mathrm{A} .23) (A.23), 逆矩阵的导数可表示为

∂ A − 1 ∂ x = − A − 1 ∂ A ∂ x A − 1 \frac{\partial \mathbf{A}^{-1}}{\partial x}=-\mathbf{A}^{-1} \frac{\partial \mathbf{A}}{\partial x} \mathbf{A}^{-1} xA1=A1xAA1

6. 矩阵对矩阵求导

在这里插入图片描述
参考自:https://zhuanlan.zhihu.com/p/59133643

梯度 散度 旋度 拉普拉斯运算

拉普拉斯运算 = 梯度的散度 L(f) = div(grad(f))
在这里插入图片描述

  • 2
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值