LinearAlgebra_4

投影矩阵和最小二乘

二维空间

假设二维空间$Ax=b$，拟合的直线是$b = C+Dt。 投影矩阵为$P$，那么有：

$$P=A(A^TA)^{-1}A^T$$

1. $Pb=0$（如果向量b和矩阵A的列空间垂直的话，$A^Tb=0$）
2. $Pb=b$（如果向量b在矩阵A的列空间内部的话，$b=Ax$）

多维空间

思考最优直线或者最佳投影可以从两种方式思考

一。矩阵空间

矩阵空间，即找到最优的$\hat{b}$，也就是找到$b$在$A$的列空间的投影。

$$A^TAx=A^Tb$$


如果A的列满秩的话，那么 $A^TA$可逆，所以有：
$$x=(A^TA)^{-1}A^Tb$$
$$P=A(A^TA)^{-1}A^T$$

---

需要注意的是，$A^TA$可逆有两种情况：

1. $A^TAx=0$的零空间只有0，左右都乘$X^T$即可。
2. $A$的列线性无关，相互垂直的单位向量，orthonomal vectors。
   
   

二。原来的空间

此外，还可以用最小二乘法做，使用微分求解也能得到同样的结果。

正交矩阵和Gram-Schmidt正交化

回顾

正交向量：两个向量点积为0。
正交空间：行空间与零空间。

正交基

正交矩阵

orthogonal
orthonormal

正交矩阵$Q$的特性如下：

1. $Q^TQ=I$
2. $Q^{-1}=Q^T$（如果$Q$是方阵的话）

正交矩阵好处很大。

$$P=Q(Q^TQ)^{-1}Q^T=QQ^T$$
上式在$Q$为方阵的情况下成立。

如何变成正交矩阵

总体思路就是先求出正交的向量，然后根据向量的长度变成正交矩阵。

求正交的向量，可以用

$$b = b-p=b-Ax=b-A\frac{A^Tb}{A^TA}$$

行列式与其性质

行列式，是最能够代表矩阵性质的一个数，根据它可以判断矩阵是不是奇异矩阵等。

行列式，是为了求出特征值，它的对象是每个方阵。

共有10条性质，1——3是基础，4——10是推倒。

1。$detI=1$
2。每交换一次行，矩阵的行列式乘以$-1$
3a。$\begin{bmatrix} ta & tb \\ c & d \end{bmatrix} = t * \begin{bmatrix} a & b \\ c & d \end{bmatrix}$
3b。$\begin{bmatrix} a + a' & b+b' \\ c & d \end{bmatrix} = \begin{bmatrix} a & b \\ c & d \end{bmatrix} +\begin{bmatrix} a' & b' \\ c & d \end{bmatrix}$
4。如果两行相等，行列式为0
5。Substract l*rowI for rowK，行列式不变，所以可以随便消元，不影响行列式
6。有零行存在，行列式是0
7。上三角矩阵的行列式是角上元素的乘积
8。行列式为0是矩阵奇异的充要条件
9。$detAB=detA*detB$, $det2A=2^m detA$
10。$detA^T=detA$,将行列联系在了一起

此外，有一个问题：7次和10次行交换会得到同样的矩阵么。
A: 置换分为odd和even的。

行列式公式和代数余子式

行列式，是线代里面很小的但是很完整的一部分，之前很重要，现在并不是很重要。它的主要目的是和特征值结合。
代数余子式的意义是可以将大的矩阵的特征值分解成小的矩阵的特征值。

矩阵$A_{n*n}$分解后共有$n^n$情况，其中不为0的情况共有$n!$种。

代数余子式（cofactor）值得是$a_{ij}$去除第i行和第j列剩下部分的行列式，并且考虑到符号问题。

克拉默法则逆矩阵体积

逆矩阵

$$A^{-1} = \frac{1}{detA} C^T$$
其中，$C$代表包含符号的代数余子式，$C^T$代表伴随矩阵。

克拉默法则

$A^{-1}$只用上面的式子是不够的，克拉默法则提供了求逆的代数表达形式，但是一般不用因为太过繁琐，典型的中看不中用，一般使用消元法。

box体积

行列式代表volumn of box。
正负号的意义是左手坐标系还是右手坐标系。

$detQ=1$
$QQ^T=I$