算法数学基础：矩阵和线性代数

第一部分：线性代数应用举例

SVD：Singular Value Decomposition，奇异值分解是一种重要的矩阵分解方法。

SVD通常被用于数据降维、特征提取，例如一张图片的内容可以用一个矩阵表示，通过对其进行奇异值分解，然后提取前k个较大的特征值，就可以大体概括出原图片内容。彩色图片可以看做由RGB三个颜色的三个矩阵构成。

第二部分：矩阵介绍

一.行列式(n阶方阵)

记作det(A)或|A|，由若干项加和组成。每一项中，选组n个元素，且每行每列恰好选取一个元素，正负由逆序数决定。

二.余子式和代数余子式

三.伴随矩阵

把nxn阶方阵的每一个元素都换成其代数余子式，然后再将矩阵转置，得到伴随矩阵A*。

注意：Aij位于A*的第j行第i列

四.方阵的逆矩阵

和A方阵相乘得到单位矩阵的矩阵B，称作A的逆矩阵。

五.范德蒙行列式

六.概率转移矩阵

概率转移矩阵性质：不管初始三种阶层人数的概率如何，当迭代n次，n足够大时，三种阶层人数收敛于一个稳定的分布，与概率转移矩阵P有关。

第三部分：矩阵性质

一.矩阵乘法

1.C=AXB，需要mns次乘法，其中A为mxn矩阵，B为nxs矩阵。
2.矩阵和向量的乘法
若A为mxn矩阵，x为nx1向量，x代表n维空间上的某一点，则Ax可以看做从n维空间上的点到m维空间上点的线性变换。特殊的，m=n时，可看做在n维空间内进行线性变换。

二.矩阵的秩

1.A为mxn矩阵，如果A中有一个不等于0的r阶子式D，且所有r+1阶子式都等于0，则r称为矩阵A的秩，记作R(A)=r。
2.线性方程组的解

3.向量组的秩
两个向量组A和B，若R(A)=R(A,B)，则向量组B能由向量组A线性表示，若两个向量组都能互相线性表示，即R(A)=R(A,B)=R(B)，则称两个向量组等价。

4.矩阵乘法的另一层意义

如果C=AXB，则矩阵C的列向量能由A的列向量线性表示，B为这一表示的系数矩阵；同理，C的行向量能由B的行向量线性表示，A为系数矩阵。

三.正交矩阵

四.特征值和特征向量

特征值性质
矩阵A的特征值之和等于矩阵A的对角线元素之和，也称作A的迹，记作tr(A)；
矩阵A的特征值之积等于矩阵A的行列式；
不同特征值对应的特征向量线性无关；
对阵实矩阵的不同特征值之间互相正交。

实对阵矩阵的分解(合同变换)


性质：两个实对称矩阵合同的充要条件是它们的正负惯性指数相同，即正负特征值的个数相同。

五.正定矩阵

正定矩阵的判定
1.对称实矩阵A为正定阵；
2.A的特征值都为正；
3.A的顺序主子式都大于0.

第四部分：矩阵求导

一.向量对向量求导

向量y对于向量x求导
先将y的第一行对于向量x的每一个分量求导，得到第一列，再将y的每一行对x的每一个分量求导，得到所有列。一组结果作为行还是列取决于分母是行向量还是列向量。

二.标量对向量求导

标量对向量求导：即标量对于向量中每个元素求导，结果放在元素对应的位置上。

三.标量对方阵求导

标量对方阵求导：即标量对于方阵中每个元素求导，结果放在元素对应的位置上。