参考文库链接
对标量求导
矩阵对标量求导
d y d x = d y 11 d x d y 12 d x d y 21 d x d y 22 d x \frac{\mathrm{d} y }{\mathrm{d} x}= \begin{matrix} \frac{\mathrm{d} y11 }{\mathrm{d} x} & \frac{\mathrm{d} y12 }{\mathrm{d} x} \\ \frac{\mathrm{d} y21 }{\mathrm{d} x} & \frac{\mathrm{d} y22 }{\mathrm{d} x} \end{matrix} dxdy=dxdy11dxdy21dxdy12dxdy22
向量对标量求导
参考矩阵对标量求导
向量对向量求导
行向量对列向量求导
相当于每一个标量对列向量求导的组合。
其中
y
T
y^{T}
yT是1*n的向量,
x
x
x是m*1的向量:
重要结论:
d
x
T
d
x
=
I
\frac{\mathrm{d}x^{T}}{\mathrm{d}x}=I
dxdxT=I
d
(
A
x
)
T
d
x
=
A
T
\frac{\mathrm{d}(Ax)^{T}}{\mathrm{d}x}=A^{T}
dxd(Ax)T=AT
列向量对行向量求导
其中 y T y^{T} yT是1*n的向量, x x x是m*1的向量: d x d y T = ( d x t d y ) T \frac{\mathrm{d}x}{\mathrm{d}y^{T}}=(\frac{\mathrm{d}x^{t}}{\mathrm{d}y})^{T} dyTdx=(dydxt)T
向量积对向量求导
向量积求导公式:
d
u
T
v
d
x
=
d
u
T
d
x
∗
v
+
d
v
T
d
x
∗
u
\frac{\mathrm{d} u^{T}v }{\mathrm{d} x}=\frac{\mathrm{d} u^{T} }{\mathrm{d} x} *v+\frac{\mathrm{d} v^{T} }{\mathrm{d} x} *u
dxduTv=dxduT∗v+dxdvT∗u
d
u
v
T
d
x
=
d
u
d
x
∗
v
T
+
u
∗
d
v
T
d
x
\frac{\mathrm{d} uv^{T} }{\mathrm{d} x}=\frac{\mathrm{d} u}{\mathrm{d} x} *v^{T}+u*\frac{\mathrm{d} v^{T} }{\mathrm{d} x}
dxduvT=dxdu∗vT+u∗dxdvT
重要结论:
d
x
T
x
d
x
=
d
x
T
d
x
∗
x
+
d
x
T
d
x
∗
x
=
2
∗
x
;
\frac{\mathrm{d} x^{T}x }{\mathrm{d} x}=\frac{\mathrm{d} x^{T} }{\mathrm{d} x} *x+\frac{\mathrm{d} x^{T} }{\mathrm{d} x} *x=2*x;
dxdxTx=dxdxT∗x+dxdxT∗x=2∗x;
d
x
T
A
x
d
x
=
d
x
T
d
x
∗
A
x
+
d
x
T
A
T
d
x
∗
x
=
(
A
+
A
T
)
∗
x
\frac{\mathrm{d} x^{T}Ax }{\mathrm{d} x}=\frac{\mathrm{d} x^{T} }{\mathrm{d} x} *Ax+\frac{\mathrm{d} x^{T} A^{T} }{\mathrm{d} x} *x=(A+A^{T})*x
dxdxTAx=dxdxT∗Ax+dxdxTAT∗x=(A+AT)∗x