最小二乘法中关于
A
T
A
A^TA
ATA是否需要可逆的问题：
A
T
A
A^TA
ATA是最小二乘的解的充分条件，有一个满秩的
(
A
T
A
)
x
=
A
T
b
(A^TA)x=A^Tb
(ATA)x=ATb是个多好的事情
但反过来不一定成立：
A
T
A
A^TA
ATA不是最小二乘的解的必要条件
考虑A是个冗余的3维空间的平面子空间，比如xy平面
A
=
[
a
11
a
12
a
13
a
21
a
22
a
23
0
0
0
]
A=\left[ \begin{array}{ccc} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ 0 & 0 & 0 \end{array} \right]
A=⎣⎡a11a210a12a220a13a230⎦⎤,
假定
a
i
j
≠
0
a_{ij}\ne0
aij=0,A的秩是2；
然后我们令
b
=
[
1
4
7
]
b=\left[ \begin{matrix} 1 \\ 4 \\ 7 \end{matrix} \right]
b=⎣⎡147⎦⎤
对于方程 A τ A x ^ = A T b A^\tau A\hat{x}=A^Tb AτAx^=ATb有解且有无数解；
举例上图中，b投影到
R
3
R^3
R3的一个黑色向量构成的平面子空间中，这个方程必定有解。
此时
r
a
n
k
(
A
T
A
)
=
2
rank(A^TA)=2
rank(ATA)=2.
1501
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
