Julia 矩阵QR分解和特征值

前言

在上一篇的PCA中使用了LinearAlgebra中封装的函数求取的特征值和特征向量。在此学习一下特征值的数值求解算法，主要参考[1]。矩阵特征值的数值求解方法中，一般有求部分特征值和特征向量的幂法和反幂法，以及求取全部特征值的QR分解方法。在此关注QR分解方法。注意内容较长，总体思路和方法来自参考文献[1]。

• QR分解，是把矩阵分解为正交矩阵和三角矩阵的乘积，其中关键点在于正交矩阵的求法。

• 正交矩阵的求解可以使用施密特正交化进行实现，需要理解施密特正交化的原理和思路。

最后回溯：由施密特正交化->>QR分解->>矩阵特征值->>特征向量矩阵 。

1. 施密特正交

施密特方法是对一组向量进行正交化。给定一组输入的m维向量，目的找出正交坐标系统，获取由这些向量张成的空间。
给定n个线性无关的向量，找到n个彼此垂直的单位向量。

(1) 利用施密特正交求出正交矩阵Q

假设存在$n$个线性无关的$m$维向量
$$A_1,A_2,\cdots ,A_n$$

• 第$1$步：选定初始向量，归一化。

$$y_1=A_1$$

$$p_1=\frac{y_1}{||y_1|{|}_2}$$

• 第$2$步：下一个向量例如$A_2$，减去该向量在所有已知的正交向量集$(p_1，p_i,\cdots )$上的投影分量，再进行归一化得到当前的正交向量。

投影分量如何计算？利用向量的内积$cos(\theta )=\frac{<a,b>}{||a|{|}_2||b|{|}_2}$，此处符号$<a,b>$为向量内积。

由于正交向量$p_i$的模长，也即是2范数为1，此时$A_j$在向量$p_i$上的投影系数为$\frac{<A_j,p_i>}{||A_j|{|}_2}$,也即是$p_i^T{A}_j$，注意此为一个数值标量。进一步可得到，$A_j$在向量$p_i$上的投影分量为$p_i(p_i^T{A}_j)$。

$$y_2=A_2-p_1(p_1^T{A}_2)$$

$$p_2=\frac{y_2}{||y_2|{|}_2}$$

• 以此类推，第$k$步，

$$y_k=A_k-p_1(p_1^T{A}_k)-\cdots -p_{k-1}(p_{k-1}^T{A}_k)$$

$$p_k=\frac{y_k}{||y_k|{|}_k}$$

• 最终得出正交矩阵为$Q=(p_1，p_i,\cdots ,p_n)$，注意此时的维度为$m\ast n$，即$m$行$n$列。

(2) 求出上三角矩阵R

由以上求正交矩阵的过程，反推：
$$A_1=p_1\ast ||y_1|{|}_2$$

$$A_2=p_2\ast ||y_2|{|}_2+p_1\ast (p_1^T{A}_2)$$

$$A_k=p_k\ast ||y_k$$