MIT1806 最小二乘法的思考1

最小二乘法中关于
A T A A^TA ATA是否需要可逆的问题:

A T A A^TA ATA是最小二乘的解的充分条件,有一个满秩的
( A T A ) x = A T b (A^TA)x=A^Tb (ATA)x=ATb是个多好的事情

但反过来不一定成立:
A T A A^TA ATA不是最小二乘的解的必要条件

考虑A是个冗余的3维空间的平面子空间,比如xy平面
A = [ a 11 a 12 a 13 a 21 a 22 a 23 0 0 0 ] A=\left[ \begin{array}{ccc} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ 0 & 0 & 0 \end{array} \right] A=a11a210a12a220a13a230,
假定 a i j ≠ 0 a_{ij}\ne0 aij=0,A的秩是2;

然后我们令
b = [ 1 4 7 ] b=\left[ \begin{matrix} 1 \\ 4 \\ 7 \end{matrix} \right] b=147

对于方程 A τ A x ^ = A T b A^\tau A\hat{x}=A^Tb AτAx^=ATb有解且有无数解;

最小二乘和A
举例上图中,b投影到 R 3 R^3 R3的一个黑色向量构成的平面子空间中,这个方程必定有解。
此时 r a n k ( A T A ) = 2 rank(A^TA)=2 rank(ATA)=2.

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页