线性代数知识点总结

一、运算性质

向量的特性

1.u+v=v+u
2.(u+v)+w=u+(v+w)
3.0+u=u
4.U’+u=0,u’:u的加法逆元，addictive inverse
5.1u=u
6.(ab)u=a(bu)
7.a(u+v)=au+av
8.(a+b)u=au+bu
满足以上特性的任何东西都叫向量

矩阵的特性

1.A+B=B+A
2.(A+B)+C=A+(B+C)
3.(st)A=s(tA)
4.s(A+B)=sA+sB
5.(s+t)A=sA+tA

转置

矩阵*向量的积的特性

1.A(u+v)=Au+Av
2.A(cu)=c(Au)=(cA)u
3.(A+B)u=Au+Bu
4.A*0, mx1的零向量
5.0*u，mx1的零向量

矩阵相乘的性质：

1.AB≠BA
2.s(AC)=(sA)C=A(sC)
3.(A+B)C=AC+BC
4.C(P+Q)=CP+CQ
5.A0=0
6.A(CP)=(AC)P
7.I_m A = A = A I_n
8.(AC)^T=C^TA^T
9.A∈R_n*n，A^k=A*A…A
10.A¹=A , A⁰=I_n

矩阵的逆的性质：A，B是nxn方阵，可逆

(AB)^-1=B^-1A^-1
(A^T)^-1=(A^-1)^T

行列式的特性：

1.det(AB)=det(A)det(B)
2.det(A+B)≠det(A)+det(B)
3.det(A^-1)=1/det(A)
4.det(A²)=det(A)det(A)
5.det(A^T)=det(A)

张成空间（span）的性质：

1.S包含于span S
2.如果有限集S’包含于span S，那么span S’也包含于span S
3.对任意向量z，如果z属于span S，那么：span S=span S∪{z}

基（basis）性质:

1.basis是最小的生成集（generation set）
2.Basis是子空间中最大的线性无关向量集
3.同一个子空间的任意两个基包含相同个数的向量。一个基中包含的向量个数叫做非零子空间的维度（dimension）
4.Reduction theorem划归定理：任一生成集S都包含一个基（S通过移除部分向量，可以变成子空间的基）
5.Extension theorem扩展定理:给定子空间中一个线性无关向量集S，通过增加向量，S可以扩展为一个基

二、矩阵求解

方程组：Ax=b，A:mxn,
有解：
b is a linear combination of columns of A,b是A的列向量的线性组合
b is in the span of the columns of A，b在A向量的张成空间中
有1个解：
A的列向量线性无关
Rank(A)=n,A的秩为n
Nullity(A)=0
有无穷多个解：
A的列向量线性相关
Rank(A)<n,A的秩小于n
Nullity(A)>0

三、矩阵的逆

矩阵A(nxn)可逆：
1.the columns of A span $R^n$
2.对所有$R^n$中的b，Ax=b有解
3.A的秩为n，rank(A)=n
4.A的所有列向量线性无关
5.Ax=0的唯一解是0向量
6.Nullity(A)=0
7.A的最简行阶梯型矩阵是 I_n
8.A可由初等矩阵变换而来
9.存在B(nxn),使BA= I_n
10.存在C(nxn),使AC= I_n
11.det A≠0

四、子空间

subspace子空间：向量集合V满足以下条件，则称为一个子空间
1.0向量属于V
2.u，w属于V，那么u+w属于V (加法封闭）
3.u属于V，那么cu属于V (标量乘法封闭)

向量集的张成空间是一个子空间：V=span S

Null space：

矩阵A的Av=0的解集所构成
Null A={v∈ $R^n$,:Av=0},Null A是一个子空间

Column space：

矩阵A(mxn)的所有列向量的张成空间
Col A={Av: v∈ $R^n$}

Basis基：

对于$R^n$的一个子空间V，如果B为子空间V的线性独立生成集（linearly dependent generation set）,则B为V的一个basis

五、坐标系

一个向量集β如果满足以下条件，那么可以作为$R^n$的一个坐标系：
1.β的张成空间（span）为$R^n$
2.β是线性无关的

坐标系中的线性方程

[T]=B [T]_β B^-1,
[T]_β=B^-1 [T] B
[T]_β：表示在β坐标系中的T

六、行列式determinant

一个方阵的行列式是一个可以反应方阵性质的数值。比如方阵的可逆性
行列式的实质：高维空间中的体积

代数余子式展开：
det A =a_i1c_i1+a_i2c_i2+…+a_inc_in， c_ij=(-1)^i+jdet A_ij

行列式的性质

1.基本性质1：det（I）=1
2.基本性质2：交换行或列只改变行列式的正负号，不改变绝对值
3.基本性质3：行列式是每一行的线性函数
4.当矩阵中有两行一样，det(A)=0
5.用矩阵的一行去减另一行的倍数，行列式不变
6.当矩阵某一行全为0时，行列式为0
7.如果矩阵是三角形的，那么行列式等于对角线上元素的乘积
8.如果矩阵是可逆的，那么det（A）≠0，反之det（A）=0
9.|AB|=|A||B|
10.转置矩阵的行列式不变 det A^T=det A

Cramer Rule克莱姆法则

C^T:A的伴随矩阵

七、特征值和特征向量

如果Av=λv，（v是一个向量，λ是一个标量），那么v是A的特征向量，λ是A的特征值
A是方阵
A的特征值个数≤n
A的一个特征向量对应着唯一的特征值
A的特征值有无穷多个特征向量

特征空间:

对应λ的所有特征向量集合

(A-λI_n)v=0,对应λ的特征向量：Null(A-λI_n)-{0}

判断是否为特征值：

如果，λ的特征空间的维度为0，那么：
特征空间只包含{0}
没有特征向量
λ不是特征值

寻找特征值：

一个标量t是矩阵A的特征值
==存在v≠0，使Av=tv
==存在v≠0，使Av-tv=0
==存在v≠0，使(A-λI_n)v=0
==(A-λI_n)v=0有多个解
==(A-tI_n)的列向量线性相关
==(A-tI_n)不可逆
==det(A-tI_n)=0

特征多项式

特征值： λ₁, λ₂,… λ_k
特征空间（维度）：d₁, d₂,… d_k , d₁≤m₁, d₂≤m₂,… d_k≤m_k

性质：

矩阵A（nxn）的特征多项式的最高项次数是n
A的行最简阶梯型矩阵和A有不同的特征多项式，即不同的特征值
相似矩阵有相同的特征多项式，相同的特征值

八、对角化

不是所有矩阵都可以对角化

可对角化diagonalizable:

如果矩阵A（nxn）可对角化，那么A=PDP^-1
D:nxn对角矩阵

P:nxn可逆矩阵


对应不同的特征值的一组特征向量，是线性无关的
对于A=PDP^-1
==有n个特征向量，组成可逆矩阵
==有n个线性无关的特征向量
==矩阵A的特征向量可以组成 $R^n$的一个基（basis）

如果A=PDP^-1⬅➡A^m=PD^mP^-1

九、正交性和正交投影

范数norm：

范数：向量的长度

p范数：

两个向量之间的距离：

点乘dot product

正交(垂直)：

Pythagorean theorem毕氏定理（勾股定理）：

如果u和v正交，

triangle inequality三角不等式：

正交补集orthogonal complement：

非空向量集S的正交补集S^⊥（S perp），S^⊥是一个向量集，它的向量和S的所有向量都是正交的。