【数学和算法】矩阵运算的相关公式

1.矩阵乘法：

$$(AB)C=A(BC)$$
矩阵的乘法本质上就是线性变换:

• $(AB)C\ast x$表示对某个向量x先进行C变换，再进行AB变换，其中AB变换是先进行B变换，再进行A变换的一个组合变换；
• $A(BC)\ast x$表示先对某个向量x进行BC变换，其中BC变换是先进行C变换，再进行B变换的组合变换，然后BC组合变换后再进行A变换。

不管你怎么定义组合变换，最终x向量经历的变换都是C->B->A，所以括号随便加。

例如：

-----------------------------------------------------------------------------

2.矩阵的转置运算

$$(AB{)}^T=B^T{A}^T$$
$$(A+B{)}^T=A^T+B^T$$
$$E(AB)=E(A)E(B)$$

同理，可以证得下面几个公式：
可以参考向量二次型的证明:二次型求导：

但是这里不是向量，全都是矩阵,别和上面的向量二次型中的矩阵A弄混了:
$$\frac{d(AB{A}^T)}{dA}=2AB$$

-----------------------------------------------------------------------------
$$\begin{array}{rl}\frac{BC}{ABC}& =\frac{1}{A}\\ & \\ & =A^{-1}\end{array}$$

-----------------------------------------------------------------------------

3. 协方差矩阵转置 = 协方差矩阵本身

-----------------------------------------------------------------------------

4.矩阵的迹：

矩阵的迹 是 矩阵的对角线上的元素之和。
矩阵A的迹 等于其转置的迹：

$$tr(A)=tr(A^T)$$
-----------------------------------------------------------------------------

矩阵AB的迹对A求导：

$$\frac{dtr(AB)}{dA}=B^T$$

证明：以二维为例：

-----------------------------------------------------------------------------
下面不说矩阵，说一下特征x的期望和方差：
很多个样本的特征x的期望为 $E(x)$ ,方差为 $Var(x)$;
如果特征x扩大a倍，那么:
$$E(ax)=a\ast E(x)$$
$$Var(ax)=a^2\ast Var(x)$$

可根据同理推出，如果两个特征x和y的协方差矩阵为Q的话，如果特征x和y分别扩大a和b倍,那么新的协方差矩阵Q2：
$$Q2=W\ast Q\ast W^T$$,
其中,$W$应该是这样的

$$W=\left[\begin{array}{cc}a& 0\\ 0& b\end{array}\right]$$

那么:
$$Q2=\left[\begin{array}{cc}{a}^2\ast Var(x)& a\ast b\ast Cov(x,y)\\ & \\ a\ast b\ast Cov(x,y)& b^2\ast Var(y)\end{array}\right]$$