1. 矩阵行列式、转置、逆具有可交换性;
- ∣ A T ∣ = ∣ A ∣ T , ∣ A − 1 ∣ = ∣ A ∣ − 1 , ( A − 1 ) T = ( A T ) − 1 , t r ( A T ) = t r ( A ) |A^T|=|A|^T, |A^{-1}|=|A|^{-1},(A^{-1})^T=(A^{T})^{-1},tr(A^T)=tr(A) ∣AT∣=∣A∣T,∣A−1∣=∣A∣−1,(A−1)T=(AT)−1,tr(AT)=tr(A)
- ∣ A B ∣ = ∣ B ∣ ∣ A ∣ , ( A B ) T = B T A T , ( A B ) − 1 = B − 1 A − 1 , t r ( A B ) = t r ( B A ) |AB|=|B||A|,(AB)^T=B^TA^T,(AB)^{-1}=B^{-1}A^{-1},tr(AB)=tr(BA) ∣AB∣=∣B∣∣A∣,(AB)T=BTAT,(AB)−1=B−1A−1,tr(AB)=tr(BA)
- t r ( A + B ) = t r ( A ) + t r ( B ) , ( A + B ) T = A T + B T tr(A+B)=tr(A)+tr(B),(A+B)^T=A^T+B^T tr(A+B)=tr(A)+tr(B),(A+B)T=AT+BT
- ∣ A + B ∣ ≠ ∣ A ∣ + ∣ B ∣ , ( A + B ) − 1 ≠ A − 1 + B − 1 |A+B|\ne|A|+|B|,(A+B)^{-1}\ne A^{-1}+B^{-1} ∣A+B∣=∣A∣+∣B∣,(A+B)−1=A−1+B−1
2. 函数对矩阵的导数
3. 梯度
向量函数
f
(
x
)
f(\mathbf x)
f(x)关于向量
x
\mathbf x
x的导数(两个重点：向量函数，对向量求导),
特别地，
d
x
T
x
d
x
=
2
x
（
j
u
s
t
r
e
m
e
m
b
e
r
）
\frac{d\mathbf{x^Tx}}{d\mathbf x}=2\mathbf x （just~remember）
dxdxTx=2x（just remember）
4. 二范数求导结果
利用上面的结果，可以由复合函数的链式法则
∂
f
(
x
)
∂
x
=
∂
g
(
h
(
x
)
)
∂
h
(
x
)
⋅
∂
h
(
x
)
∂
x
\frac{\partial f(x)}{\partial x}=\frac{\partial g(h(x))}{\partial h(x)} \cdot \frac{\partial h(x)}{\partial x}
∂x∂f(x)=∂h(x)∂g(h(x))⋅∂x∂h(x)求
(
A
x
−
b
)
T
W
(
A
x
−
b
)
(Ax-b)^TW(Ax-b)
(Ax−b)TW(Ax−b)关于
x
x
x的导数(令
h
=
A
x
−
b
h=Ax-b
h=Ax−b)
∂
∂
x
(
A
x
−
b
)
T
W
(
A
x
−
b
)
=
∂
(
A
x
−
b
)
∂
x
⋅
2
W
(
A
x
−
b
)
=
2
A
T
W
(
A
x
−
b
)
\begin{aligned} \frac{\partial}{\partial x}(\mathbf{A} x-b)^{\mathrm{T}} \mathbf{W}(\mathbf{A} x-b) &=\frac{\partial(\mathbf{A} x-b)}{\partial x} \cdot 2 \mathbf{W}(\mathbf{A} x-b) \\ &=2 \mathbf{A}^T \mathbf{W}(\mathbf{A} x-b) \end{aligned}
∂x∂(Ax−b)TW(Ax−b)=∂x∂(Ax−b)⋅2W(Ax−b)=2ATW(Ax−b)
这个在求最小二乘法范数距离的最小化的时候很有用
∂
∣
∣
A
x
−
b
∣
∣
2
2
∂
x
=
∂
(
A
x
−
b
)
T
(
A
x
−
b
)
∂
x
=
2
A
T
(
A
x
−
b
)
\frac{ \partial||Ax-b||^2_2 }{\partial x}=\frac{\partial(Ax-b)^T(Ax-b)}{\partial x}=2A^T(Ax-b)
∂x∂∣∣Ax−b∣∣22=∂x∂(Ax−b)T(Ax−b)=2AT(Ax−b)
5. 矩阵乘法微分规则
∂ x T a ∂ x = ∂ a T x ∂ x = a ∂ A B ∂ x = ∂ A ∂ x B + A ∂ B ∂ x \begin{array}{c} \frac{\partial \boldsymbol{x}^{\mathrm{T}} \boldsymbol{a}}{\partial \boldsymbol{x}}=\frac{\partial \boldsymbol{a}^{\mathrm{T}} \boldsymbol{x}}{\partial \boldsymbol{x}}=\boldsymbol{a} \\ \frac{\partial \mathbf{A} \mathbf{B}}{\partial \boldsymbol{x}}=\frac{\partial \mathbf{A}}{\partial \boldsymbol{x}} \mathbf{B}+\mathbf{A} \frac{\partial \mathbf{B}}{\partial \boldsymbol{x}} \end{array} ∂x∂xTa=∂x∂aTx=a∂x∂AB=∂x∂AB+A∂x∂B
由 A − 1 A = I \mathbf{A}^{-1} \mathbf{A}=\mathbf{I} A−1A=I 和 式 ( A . 23 ) (\mathrm{A} .23) (A.23), 逆矩阵的导数可表示为
∂ A − 1 ∂ x = − A − 1 ∂ A ∂ x A − 1 \frac{\partial \mathbf{A}^{-1}}{\partial x}=-\mathbf{A}^{-1} \frac{\partial \mathbf{A}}{\partial x} \mathbf{A}^{-1} ∂x∂A−1=−A−1∂x∂AA−1
6. 矩阵对矩阵求导
参考自：https://zhuanlan.zhihu.com/p/59133643
梯度 散度 旋度 拉普拉斯运算
拉普拉斯运算 = 梯度的散度 L(f) = div(grad(f))
1793
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
