线性代数|机器学习-P12Ax=b条件下x最小值问题

1. Ax=b下的最值问题-图形转换

假设我们有一个直线方程如下：
$$\begin{array}{c}3x_1+4x_2=1\end{array}$$
在二维平面上，各个范数如下：
$$\begin{array}{c}\min ||x|{|}_1=|x_1|+|x_2|,\min ||x|{|}_2=x_1^2+x_2^2,\min ||x|{|}_{\infty }=\max |x_i|\end{array}$$

• L1范数是一个膨胀的钻石形状，L2范数是一个膨胀的圆形，$L_{\infty }$是一个膨胀的正方形
  
• 那么在Ax=b约束条件下的最小值问题可以转换为范数图像与约束条件$Ax=b$组成图像的第一个相交的点。
• L1与直线相交A点，L2与直线相交B点，L3与直线相交C点,这样就可以通过几何图形的方式求得在约束条件下的最小值问题了，用函数图像代替约束条件方程Ax=b，用范数表示不同情况下的最值问题。真神奇！！！
  

2. Gram-Schmidt 标准形

通过Gram-Schmidt 可以将矩阵A分解如下$A=QR$。
我们有一个矩阵A的列向量组，发现矩阵A的列向量之间不是相互正交的，如果列向量之间不是相互正交独立，那么就无法用最简单的形式去表达其他的向量，所以我们就用Gram-Schmidt,将原来的$a_1,a_2$转换成 $q_1,q_2,q_1\perp q_2,|q_1|=|q_2|=1$ ,Gram-Schmidt用的方法很简单，

• 先选择一个向量$a_1$,直接以这个向量作为第一个方向，正交化得到$q_1$
  $$\begin{array}{c}{q}_1=\frac{a_1}{|a_1|},|q_1|=1\end{array}$$
• 现在$a_2$与$q_1$不正交，我们就要将$a_2$投影到$q_1$上得到投影向量$p_2$，再用$a_2-p_2=A_2$
  $$\begin{array}{c}{q}_1^T{a}_2=|q_1||a_2|\cos \theta =|a_2|\cos \theta ,a_2在q_1上的投影长度出来了\end{array}$$
• 投影长度乘以单位向量得到$p_2$,向量相减得到$A_2$
  $$\begin{array}{c}{p}_2=q_1^T{a}_2{q}_1,A_2=a_2-p_2\to A_2=a_2-q_1^T{a}_2{q}_1\to q_2=\frac{A_2}{|A_2|}\end{array}$$
• 同理$q_3$就是将向量$a_3$减去$a_3$在$q_1,q_2$上的投影向量$p_2,p_3$即可得到$A_3$
  $$\begin{array}{c}{p}_3=q_1^T{a}_3{q}_1,p_2=q_2^T{a}_3{q}_2\to A_3=a_3-q_1^T{a}_3{q}_1-p_2=q_2^T{a}_3{q}_2\end{array}$$
  所以Gram-Schmidt 的本质是从A中的列向量中不断抽取向量$a_1,a_2,\cdots ,a_n$通过不断迭代的形式，得到一组标准正交向量组$q_1,q_2,\cdots ,q_n$,
• 但我们发现一个问题，我们怎么选择向量$a_1,a_2,\cdots ,a_n$呢？如果$a_1,a_2,\cdots ,a_n$太相关了怎么办，这样正交化的效果不是很好，如下所示：我们希望选择好的向量$a_{12},a_{22}$而不是相关性太大的$a_{11},a_{21}$
  
• 那怎么做了，我们只需要在每次选择新的向量的时候，选择投影p较小的向量作为正交向量,比如我们先找到$a_1\to q_1$再找 $q_2$ 过程中我们需要筛选，将$a_2,a_3,\cdots ,a_n$都投影到$q_1$上，看看哪个投影长度最小，我们就选择这个作为$A_2\to q_2$
• 从 $p_{21},p_{31},\cdots ,p_{n1}$中选择最小的一个作为$A_2\to q_2$
  $$\begin{array}{c}{p}_{21}=q_1^T{a}_2{q}_1,p_{31}=q_1^T{a}_3{q}_1,\cdots p_{n1}=q_1^T{a}_n{q}_1\end{array}$$
• 同理依次选择$q_3,q_4,\cdots ,q_n$,这就是改进后的Gram-Schmidt

3. 迭代法-Krylov子空间法

直接引用大神的笔记，具体后续整理