ATA对称正定的证明

1. 结论

Let $A\in R^{n\times m} \quad with \quad n>m,$ then matrix $A^TA$ is positive semidefinite, If $rank(A)=m\quad(i.e. A\quad has\quad full\quad rank),$ then $A^TA$ is positive definite.

2. 证明

1. 半正定的证明
   根据对称正定的定义，要证明$A^TA$半正定，即证明，$x^T(A^TA)x\ge 0$
   $$x^T(A^TA)x=(x^TA^T)(Ax)=(Ax)^T(Ax)$$
   记，$Ax=u$，则，$x^T(A^TA)x=u^Tu$，由向量点乘的性质，易知$u^Tu>=0.$
   即，$A^TA$ 半正定。

2. 正定的证明
   $u^Tu\ge 0$ 等号当且仅当$u=0$时取到。、
   我们看看$u=0$时，$x$等于多少。$u=Ax=0$，当A满秩时，根据满秩的定义和性质，易知当且仅当$x=0$时，$Ax=0$。
   即证明$A^TA$正定。

3. 为什么$A$满秩时，$Ax=0$当且仅当$x=0$
   根据满秩的定义和性质，当A满秩是，A的各列向量线性独立，则，A的列向量的线性组合等于0，当且仅当每个系数等于0。$Ax$就可以看出A的列向量的线性组合，因此，当且仅当$x=0$时$Ax=0$.

3. 总结

• $A^TA$ is coefficient matrix of Normal Equation