矩阵向量求导微分三_机器学习

最新推荐文章于 2021-04-17 12:57:01 发布

明朝百晓生

最新推荐文章于 2021-04-17 12:57:01 发布

阅读量173

点赞数

分类专栏：人工智能

4AM_明朝百晓生

本文链接：https://blog.csdn.net/chengxf2/article/details/107208048

版权

人工智能专栏收录该内容

102 篇文章 3 订阅

订阅专栏

参考文档

https://www.cnblogs.com/pinard/p/10791506.html

矩陣微分
微分性質
迹函数性质
矩阵向量求导应用例子
迹函数对向量矩阵求导

一矩陣微分

1.1 微分公式 df = f'(x)dx

1.2 多變量微分：

$df = \sum_{i=1}^{n} \frac{\partial f}{\partial x_i} dx_i$

$=(\frac{\partial f }{\partial x})^Tdx$

1.3 矩阵微分：

$df =\sum_{j=1}^{n}\sum_{i=1}^{m} \frac{ \partial f }{\partial X_{ij}}dX_{ij}$

$=tr((\frac{\partial f}{\partial X})^TdX)$

其中 1.3 利用了矩阵迹性质

$tr(A^TB)=\sum_{ij}A_{ij}B_{ij}$

证明：

$C=A^TB=\begin{bmatrix} A_{11}& A_{21} & ... & A_{m1} \\ A_{12}& A_{22} & ... &A_{m2} \\ ...& ... & ... &... \\ A_{1n}& A_{2n} & ... & A_{mn} \end{bmatrix} \begin{bmatrix} B_{11}& B_{12} & ... & A_{1n} \\ B_{21}& B_{22} & ... &B_{2n} \\ ...& ... & ... &... \\ B_{m1}& B_{m2} & ... & B_{mn} \end{bmatrix}$

该矩阵的对角线元素为

$\begin{bmatrix} C_{11} & & & \\ & C_{22} & & \\ & & ...& \\ & & & C_{nn} \end{bmatrix}$

其中

$C_{11}=\sum_{j=1}^{m}A_{j1}B_{j1}$

$C_{22}=\sum_{j=1}^{m}A_{j2}B_{j2}$

....

$C_{nn}=\sum_{j=m}A_{jn}B_{jn}$

则

$tr(C)= \sum_{j=1}A_{j1}B_{j1}+ \sum_{j=1}A_{j2}B_{j2}+...+ \sum_{j=1}A_{jn}B_{jn}$

$=\sum_{i}\sum_j A_{ij}B_{ij}$

$=\sum_{ij}A_{ij}B_{ij}$

二微分性质

微分共有八个性质

2.1 加减法性质

d(X+Y)= dX+dY, d(X-Y)=dX-dY

2.2 乘法性质

d(XY)=(dX)Y+X(dY)

2.3 转置性质

d(X^T)=(dX)^T

证明

令：

$X=\begin{bmatrix} x_{11} & x_{12} & ... & x_{1n}\\ x_{21} & x_{22} & ... & x_{2n}\\ ...& ...& ..& ...\\ x_{m1}& x_{m2} & ... & x_{m2} \end{bmatrix}$

$d(X)=\begin{bmatrix} dx_{11} & dx_{12} & ... & dx_{1n}\\ dx_{21} & dx_{22} & ... & dx_{2n}\\ ...& ...& ..& ...\\ dx_{m1}&dx_{m2} & ... & dx_{mn} \end{bmatrix}$

则：

$d(X)^T=\begin{bmatrix} dx_{11} & dx_{12} & ... & dx_{1n}\\ dx_{21} & dx_{22} & ... & dx_{2n}\\ ...& ...& ..& ...\\ dx_{m1}&dx_{m2} & ... & dx_{mn} \end{bmatrix}^T$

$X^T=\begin{bmatrix} x_{11} & x_{12} & ... & x_{1n}\\ x_{21} & x_{22} & ... & x_{2n}\\ ...& ...& ..& ...\\ x_{m1}& x_{m2} & ... & x_{m2} \end{bmatrix}^T$

$d(X^T)=\begin{bmatrix} dx_{11} & dx_{12} & ... & dx_{1n}\\ dx_{21} & dx_{22} & ... & dx_{2n}\\ ...& ...& ..& ...\\ dx_{m1}&dx_{m2} & ... & dx_{mn} \end{bmatrix}^T$

所以等式成立

2.4 微分迹

d tr(X)= tr(dX)

证明

$tr(X)= \sum_{i}X_{ii}$

$dtr(x)=\sum_i d(X_{ii})$

$d(X)=\begin{bmatrix} dx_{11} & dx_{12} & ... & dx_{1n}\\ dx_{21} & dx_{22} & ... & dx_{2n}\\ ...& ...& ..& ...\\ dx_{n1}&dx_{n2} & ... & dx_{nn} \end{bmatrix}$

$tr(dX)=\sum_i d(X_{ii})$

所以相等

.2.5 微分哈达马乘积

$d(X \odot Y) =X \odot dY+ dX \odot Y$

2.6 逐元素求导

$d \varrho (X) =\varrho^{'}(X) \odot dX$

2.7 求逆

$dX^{-}=-X^{-1}dX(X^{-1})$

证明：

因为 $XX^{-1}=E$

利用性质1，性质2

$dX(X^{-1})+XdX^{-1}=0$

$XdX^{-1}= -dX(X^{-1})$

$X^{-1}XdX^{-1}= -X^{-1}dX(X^{-1})$

$dX^{-1}=-X^{-1}dX (X^{-1})$

2.8 行列式

$d|X|= |X| tr(X^{-1}dX)$

证明

$X(t)=\begin{bmatrix} x_{11}(t) & x_{12}(t) & ... & x_{1n}(t) \\ x_{21}(t) & x_{22}(t)& ...&... \\ ...& ... & ... &... \\ x_{n1}(t)& x_{n2}(t)& .... & x_{nn}(t) \end{bmatrix}$