MIT18.065 数据分析、信号处理和机器学习中的矩阵方法 学习笔记 -- Lecture 11 Minimizing_xSubject to Ax=b

 1.minimized different norms 寻找最小化的范数

二维平面中的最小范数

找出在直线 上最小的范数1，范数2，范数3。

min ,, with 

附：L1范数 L1=

        L2范数L2=

        L范数L

p=1 即L1范数 ：假设x1与x2均为正，则用y=x1+x2；当x1为负时，存在y=-x1+x2；当x2为负时，存在y=x1+-x2,y=-x1+-x2等情况，因此L1范数图像呈钻石状。

p=2 即L2范数 ：算术平方根形式，即该直线与原点的距离，因此L2范数图像呈现圆形。

p=即L范数：与坐标轴距离最大，L图像呈现矩形。

根据题目要求寻找最小范数p，图像求解如下：

随着范数p的增大，最小范数点在逐渐向下移动，直到()

推广到多维

In 3D，直线变成平面或两个方程一条直线，L1扩展为立体钻石，L2扩展为球形，L3扩展为立方体。在三维方向上扩展。

2.Gram-Schmidt

 板块内容包括：
- Standard way A->QR

- Column exchanges

- "Krylov - Arnoldi"

(1)Srandard way A->QR

i. what Gram-Schmidt about?

即从A获得Q的过程

因此Gram-Schmidt，从一个非正交非独立的矩阵A，通过构造获得一个标准正交矩阵Q与其他矩阵的乘积R。

由于Q是标准正交矩阵，则（前面视频讲过）,因此具体可计算出R的值，如下：

ii. review：what Gram-Schmidt about? 如何从A获得Q？

    为非正交矩阵且非独立。因此每一个向量ai直接也not atrhogonal.

需要通过Gram-Schmidt算法将每一个向量ai调整为单位正交。

计算方法如下：

Gram-Schmidt 两个步骤：1.减去原有向量上的分量，获得A；2.除以长度 unit vector q

（2）Column exchanges

i. What is the risk?标准Gram-Schmidt顺序求解的问题在哪？

如果a2和a1非常接近，因此在与a1正交的方向上，只存在非常小的向量。

通过exchange向量改变问题。

解决方法：在剩余的所有向量中，均减去a1方向上的分量，后进行比较，选择剩余向量较大的做第二个基向量q2。即在选择基向量时，选择最大的。

在标准方式中，当计算到column i 时，才会减掉之前i-1方向上的分量；

在修改后的方式中，在每一步中，将所有列都减去上一步已知的方向分量，后选择最大的向量。

just like picking the biggest number to go into the pivot

- Are we permuting every time? 答：每次都需要进行排序，选择最大

（3）"Krylov - Arnoldi"

A是一个很大的矩阵，并且为一个稀疏矩阵，无法进行转置。

So what we can do?

答：matrix times a vector.

 （空间的一组基向量）组成krylov space ，=best vector in .

当前基向量非独立，非正交。

正交化基向量：Arnoldi && Lanczos

因此Arnoldi -- Lanczos算法是Krylov基向量通过改进后的Gram-Schmidt方法变成正交基向量。