线性代数之正交与最小二乘

[作者：byeear    Email：east3@163.com    首发www.cnblogs.com    转载请注明]

回忆学校的美好时光，一起来复习下曾经的课程吧。

1. 内积：如果u和v是Rⁿ空间的向量，u和v的内积定义为：

    u·v = u^Tv

    内积满足交换律。

2. u·u≥0，在u=0时取等号。

3. 向量的长度即向量的范数，记作||v||。

   ||v||=sqrt[∑(v_i²)]

4. 向量的距离dist(u,v)=sqrt(∑[(u_i-v_i)²])

5. 两个向量正交  <=>  u·v=0  <=>  ||u+v||²=||u||²+||v||²

6. 若A为mxn矩阵，A的行向量空间的正交补空间是A的零空间，A的列向量空间的正交补空间是A^T的零空间。

    如果x是NulA中的向量，那么根据Ax=0，x与A的每一行正交；

    如果x与A的每一行正交，那么x满足Ax=0，x是NulA中的向量。

7. 若W是Rⁿ的子空间，那么W的正交补也是Rⁿ的子空间。

8. u·v=||u|| ||v|| cosθ

9. 若Rn中的向量集合W中的任意两个不同向量都正交，该向量集称为正交向量集。非零正交向量集是线性无关集。

10. 一个向量y相对于该向量所在向量空间的某个正交基的坐标可根据下式计算；c_j=(y·u_j)/(u_j·u_j)

      u_j是基中的向量，c_j是对应该向量的权。

      如果基非正交，那么就必须求解线性方程组才能得到y相对于该基的坐标。

11. 若向量空间Rⁿ的某个子空间W的某个正交基为{u1,...,up}，向量y在W上的正交投影为：

      Proj_wy=[(y·u₁₎/(u₁·u₁)]u₁+...+[(y·u_p/u_p·u_p)]u_p

      y=Proj_wy+z

      向量z与向量空间W正交，z=y-Proj_wy。

      和式中的每个分量是y在对应基向量上的正交投影Proj_uy。

      Proj_wy是W中最接近y的点，或者说是W中元素对y的最佳逼近。

12. 如果U是具有单位正交列的mxn矩阵，x和y是Rⁿ的向量，那么：

      ||Ux||=x

      (Ux)·(Uy)=x·y

      (Ux)·(Uy)=0  <=>  x·y=0

      即映射x->Ux不改变长度和正交性。

13. mxn矩阵U具有单位正交列向量的充分必要条件是U^TU=I。

     解释：若U具有单位正交向量，那么设其各列为u₁，u₂，u₃...

     有u_i·u_i=1，u_i·u_j=0(i≠j)。也就是U^TU=I。

      单位正交矩阵是一个可逆方阵且满足U^-1=U^T

14. 如果{u₁,...u_n}是Rn子空间W的单位正交基，那么：

      Proj_wy=(y·u₁)u₁+...+(y·u_p)u_p=UU^Ty

      解释：Proj_wy是u中列的线性组合，权值为y·u₁，...，y·u_p，或（权值）记为U^Ty，或者说在基{u₁,...u_n}下 Proj_wy的坐标是y·u₁，...，y·u_p。

     于是（转到标准正交基下），Proj_wy=UU^Ty。

15. 若U是nxp矩阵且列单位正交，W是U的子空间，那么：

      U^TUx=I_px=x

      UU^Ty=Proj_wy

16. 对Rⁿ非零子空间构造正交基的方法

      假定Rn中子空间W有基{x1,...,xn}

      选取v₁=x₁

      从x₂中除去其在v₁(即x₁)上的投影得到v₂：v₂=x₂-Proj_v1x₂

 

      从x3中除去其在{v1,v2}上的投影得到v₃：v₃=x₃-Proj_v1x3-Proj_v2x3

      ......

      将以上正交基单位化即得到标准正交基。

17. QR分解

      如果mxn矩阵A的列线性无关，那么A可以分解为QR，Q为mxn矩阵，其列为ColA的标准正交基；R为nxn上三角可逆矩阵。

      QR分解实际上就是将A的列经标准正交化得到Q，而R=Q^-1A=Q^TA。

      回顾下将基正交化为Q的计算过程，就能理解为何R是上三角矩阵：正交基的第一个向量是原第一个向量或其单位化；正交基的第二个向量是原第二个向量减去其在第一个向量上的投影......。现在为了从Q得到A，要将本来减去的那部分重新加上。第一个向量不用加；第二个向量要加上原先减去的在第一个向量上的投影...。

18. 满足Ax=b的最小二乘解满足方程：

      A^TAx=A^Tb

      该方程称为Ax=b的法方程。

19. 矩阵A^TA可逆的充分必要条件是A的列线性无关。此时Ax=b有唯一最小二乘解(A^TA)^-1A^Tb

20. 内积空间：不严格的理解：在满足一定规则的前提下，我们可以对向量空间的两个向量作自定义运算，以满足实际要求。

     例如给向量中的某个元素赋予更高的权值；或者对于元素为表达式的情况，对表达式中的变量仅取特定值。

21. 加权最小二乘：若W是元素（即权值）非负的对角矩阵，则最小二乘方程为(WA)^TWAx=(WA)^TWy