矩阵运算

参考：
Wikipedia – Matrix calculus
Wikipedia 上对于矩阵的微分描述得很详细。

---

给定两个矩阵 $A={\left(\begin{array}{c}{a}_{ij}\end{array}\right)}_{m\times n}$ 和 $B={\left(\begin{array}{c}{b}_{ij}\end{array}\right)}_{m\times n}$，它们的阿达马积和克罗内克积定义如下：
阿达马积（Hadamard product）：$A\circ B={\left(\begin{array}{c}{a}_{ij}\cdot b_{ij}\end{array}\right)}_{m\times n}$，又称逐元素积（elementwise product）。
克罗内克积（Kronnecker product）：$A⨂B=\left(\begin{array}{ccc}{a}_{11}B& \cdots & a_{1n}B\\ ⋮& \ddots & ⋮\\ a_{m1}B& \cdots & a_{mn}B\end{array}\right)$

矩阵的求导：

1. 矩阵 Y 对标量 $x_i$ 求导：

相当于每个元素求倒数后转置一下，注： $M\times N$ 矩阵求导后变 $N\times M$ 矩阵

$\frac{\partial Y}{\partial x_i}={\left[\begin{array}{c}\frac{\partial Y_{ij}}{\partial x_i}\end{array}\right]}^T$

2. 标量 $y_i$ 对列向量 $x$ 求导：

$\frac{\partial y_i}{\partial x}=\left[\begin{array}{c}\frac{\partial y_i}{\partial x_1}\\ \frac{\partial y_i}{\partial x_2}\\ ⋮\end{array}\right]$

3. 行向量 $y^T$ 对列向量 $x$ 求导：

注： $1\times M$ 矩阵对 $N\times 1$ 矩阵求导后变 $N\times M$ 矩阵

$\frac{\partial y^T}{\partial x}=\frac{\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_n\end{array}\right]}{\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ \frac{\partial y_2}{\partial x}\\ ⋮\\ \frac{\partial y_n}{\partial x}\end{array}\right]$

有如下公式：

①$\frac{\partial x^T}{x}=I$； ②$\frac{\partial {(Ax)}^T}{\partial x}=A^T$

4. 列向量 $y$ 对行向量 $x^T$ 求导：

注： $M\times 1$ 矩阵对 $1\times N$ 矩阵求导后变 $M\times N$ 矩阵

$\frac{\partial y}{\partial x^T}=(\frac{\partial y^T}{\partial x}{)}^T$

5. 向量积对列向量 $x$ 求导：

$\frac{\partial u{v}^T}{\partial x}=(\frac{\partial u}{\partial x})v^T+u(\frac{\partial v^T}{\partial x})$

$\frac{\partial v{u}^T}{\partial x}=(\frac{\partial u^T}{\partial x})v+u^T(\frac{\partial v^T}{\partial x})$

①$\frac{\partial (x^{T}A)}{\partial x}=(\frac{\partial x^T}{\partial x})A+x^T(\frac{\partial A}{\partial x})=IA+0x^T=A$；

②$\frac{\partial (Ax)}{\partial x^T}=[\frac{\partial (x^T{A}^T)}{\partial x}{]}^T=(A^T{)}^T=A$；

③$\frac{\partial (x^{T}Ax)}{\partial x}=(\frac{\partial x^T}{\partial x})Ax+[\frac{\partial (Ax{)}^T}{\partial x}]x=Ax+A^{T}x$；

6. 矩阵 $Y$ 对列向量 $x$ 求导：

将 $Y$ 对 $x$ 的每个分量求偏导构成一个超向量（该向量每个元素都为一个矩阵）

$\frac{\left[\begin{array}{c}\partial y_{ij}\end{array}\right]}{\partial \left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]}=\left[\begin{array}{c}\frac{\partial [y_{ij}]}{\partial x_1}\\ \frac{\partial [y_{ij}]}{\partial x_2}\\ ⋮\\ \frac{\partial [y_{ij}]}{\partial x_n}\end{array}\right]$

注：$\frac{\partial [y_{ij}]}{\partial x_n}$ 为一个矩阵。

7. 矩阵积对列向量 $x$ ：

$\frac{\partial (uv)}{\partial x}=(\frac{\partial u}{\partial x})v+u(\frac{\partial v}{\partial x})$

①$\frac{\partial (x^{T}A)}{\partial x}=(\frac{\partial x^T}{\partial x})A+x^T(\frac{\partial A}{\partial x})=IA+x^{T}0=A$

8. 标量 $y_i$ 对矩阵 $X$ 的导数：

把 $y_i$ 对 $X$ 每个元素求导

$\frac{\partial y_i}{\partial X}=\frac{\partial y_i}{\partial [x_{ij}]}$

①$y_i=u^T{X}^{T}v=\sum \sum u(i)x(ij)v(j)\Rightarrow \frac{\partial y_i}{\partial X}=u{v}^T$；

$y_i=u^T{X}^{T}Xu$ 则 $\frac{\partial y_i}{\partial X}=2Xu{u}^T$；

②$y_i=(Xu-v{)}^T(Xu-v)$ 则 $\frac{\partial y_i}{\partial X}=\frac{\partial (u^T{X}^{T}Xu-2v^{T}Xu+v^{T}v)}{\partial X}=2Xu{u}^T-2v{u}^T+0=2(Xu-v)u^T$

9. 矩阵 $Y$ 对矩阵 $X$ 求导：

将 $Y$ 的每个元素对 $X$ 求导，构成一个超级矩阵。