目录
第一部分:线性代数应用举例
SVD:Singular Value Decomposition,奇异值分解是一种重要的矩阵分解方法。
SVD通常被用于数据降维、特征提取,例如一张图片的内容可以用一个矩阵表示,通过对其进行奇异值分解,然后提取前k个较大的特征值,就可以大体概括出原图片内容。彩色图片可以看做由RGB三个颜色的三个矩阵构成。
第二部分:矩阵介绍
一.行列式(n阶方阵)
记作det(A)或|A|,由若干项加和组成。每一项中,选组n个元素,且每行每列恰好选取一个元素,正负由逆序数决定。
二.余子式和代数余子式
三.伴随矩阵
把nxn阶方阵的每一个元素都换成其代数余子式,然后再将矩阵转置,得到伴随矩阵A*。
注意:Aij位于A*的第j行第i列
四.方阵的逆矩阵
和A方阵相乘得到单位矩阵的矩阵B,称作A的逆矩阵。
五.范德蒙行列式
六.概率转移矩阵
概率转移矩阵性质:不管初始三种阶层人数的概率如何,当迭代n次,n足够大时,三种阶层人数收敛于一个稳定的分布,与概率转移矩阵P有关。
第三部分:矩阵性质
一.矩阵乘法
1.C=AXB,需要mns次乘法,其中A为mxn矩阵,B为nxs矩阵。
2.矩阵和向量的乘法
若A为mxn矩阵,x为nx1向量,x代表n维空间上的某一点,则Ax可以看做从n维空间上的点到m维空间上点的线性变换。特殊的,m=n时,可看做在n维空间内进行线性变换。
二.矩阵的秩
1.A为mxn矩阵,如果A中有一个不等于0的r阶子式D,且所有r+1阶子式都等于0,则r称为矩阵A的秩,记作R(A)=r。
2.线性方程组的解
3.向量组的秩
两个向量组A和B,若R(A)=R(A,B),则向量组B能由向量组A线性表示,若两个向量组都能互相线性表示,即R(A)=R(A,B)=R(B),则称两个向量组等价。
4.矩阵乘法的另一层意义
如果C=AXB,则矩阵C的列向量能由A的列向量线性表示,B为这一表示的系数矩阵;同理,C的行向量能由B的行向量线性表示,A为系数矩阵。
三.正交矩阵
四.特征值和特征向量
特征值性质
矩阵A的特征值之和等于矩阵A的对角线元素之和,也称作A的迹,记作tr(A);
矩阵A的特征值之积等于矩阵A的行列式;
不同特征值对应的特征向量线性无关;
对阵实矩阵的不同特征值之间互相正交。
实对阵矩阵的分解(合同变换)
性质:两个实对称矩阵合同的充要条件是它们的正负惯性指数相同,即正负特征值的个数相同。
五.正定矩阵
正定矩阵的判定
1.对称实矩阵A为正定阵;
2.A的特征值都为正;
3.A的顺序主子式都大于0.
第四部分:矩阵求导
一.向量对向量求导
向量y对于向量x求导
先将y的第一行对于向量x的每一个分量求导,得到第一列,再将y的每一行对x的每一个分量求导,得到所有列。一组结果作为行还是列取决于分母是行向量还是列向量。
二.标量对向量求导
标量对向量求导:即标量对于向量中每个元素求导,结果放在元素对应的位置上。
三.标量对方阵求导
标量对方阵求导:即标量对于方阵中每个元素求导,结果放在元素对应的位置上。