逆矩阵
可逆矩阵 A−1 的定义为满足下列式子:
A−1⋅A=I
注意是左乘矩阵,这样做的原因在解线性方程组的时候就能体现出来;
线性方程组的形式如下:
A⋅x=b
A−1⋅A⋅x=A−1⋅b
x=A−1⋅b
说明了存在逆矩阵的话,该线性方程组则存在解,不会出现存在大于一个并且少于无限个解的情况。
生成子空间
对于上述线性方程组,可以解释为:
把A的每个列向量看作空间中从原点出发的多维的不同方向的向量,确定有多少种方法可以到达 b 向量。在这个观点中,向量x 中的每个元素表示我们应该沿着这些方向走多远;
Ax=∑xiA:,i
一般而言,这种操作被称为线性组合(linear combination),一组向量的生成子空间(span)是原始向量线性组合后所能抵达的点的集合。
确定 Ax=b 是否有解,相当于确定向量 b 是否在A 列向量的生成子空间中,这个特殊的生成子空间被称为 A 的列空间或者A 的值域。求解逆矩阵,要是矩阵可逆,必须保证以下条件:
1、该矩阵必须为 方阵
2、这个矩阵是 非奇异的(列向量线性无关的矩阵)如果矩阵A不是一个方阵或者是一个奇异的方阵,该线性方程组仍然可能有解。但是我们不能使用逆矩阵去求解。
范数
用于衡量向量的大小:
||x||p=(∑|xi|p)1p
其中 p>=1 ;
当 p=2 时, L2 被称为 欧几里得范数;
L∞ ,被称为max范数,这个范数表示向量中具有最大幅度值的元素的绝对值: ||x||∞=max|xi| 。
特征分解
即将矩阵分解成一组特征向量和特征值;
方阵 A 的 特征向量 是指与A 相乘后相对于对该向量进行缩放的非零向量 v :
Av=λv
其中的标量 λ 被称为这个特征向量的特征值;
假设矩阵 A 有n 个线性无关的特征向量 {v1,...,vn} ,对于着特征值 {λ1,...,λn} ,那么 A 的特征分解可以记作:
A=Vdiag(λ)V−1
奇异值分解
奇异值分解(singular value decomposition,SVD),将矩阵分解为奇异向量和奇异值。每个实数矩阵,都有一个奇异值分解,但不一定都有特征分解,例如非方阵的矩阵。
奇异值的分解:
A=UDVT
假设 A 是一个m⋅n 的矩阵,那么 U 是一个m⋅m 的正交矩阵, D 是一个m⋅n 的对角矩阵, V 是一个n⋅n 的正交矩阵
迹运算 & 行列式
迹运算返回的是矩阵对角元素的和: Tr(A)=∑Ai,i
行列式记为: det(A) ,是一个将方阵 A 映射到实数的函数。行列式等于矩阵特征值的乘积。
对于任意阶行列式,都可以改写为第一行某一元素与从第二行起的某一个n-1阶行列式的积,以此不断递推,直到分为某项与二阶行列式的积,然后再自此回溯最终可得解。
二阶行列式:
∣∣∣acbd∣∣∣=a⋅d−b⋅c