证明Ax=0的最小二乘解是ATA的最小特征值对应的特征向量(||x||＝1)

证明： 当 ||x||＝1时，Ax=0的最小二乘解是$A^{T}A$的最小特征值对应的特征向量

证：上式等同于证明如下命题：$A^{T}A$的最小特征值所对应的特征向量可使||Ax||最小。
(1) 若x为$A^{T}A$的特征向量，则
$$A^{T}Ax=\lambda x$$
可得
$$\begin{array}{rl}||Ax||& =(Ax{)}^T(Ax)\\ & =x^T{A}^{T}Ax\\ & =x^T\lambda x\\ & =x^{T}x\lambda \\ & =\lambda \end{array}$$

由上式可见，取$A^{T}A$的最小特征值$\lambda$可使$||Ax||$最小。

（2）若$x$不为$A^{T}A$的特征向量，则可对$A$做SVD分解，得

$$A=U\Lambda V^T$$

则
$$\begin{array}{rl}||Ax||& =(Ax{)}^T(Ax)=x^T{A}^{T}Ax\\ & =x^{T}V{\Lambda }^T{U}^{T}U\Lambda V^{T}x\\ & =x^{T}V{\Lambda }^T\Lambda V^{T}x\end{array}$$

又因为
$${\Lambda }^T\Lambda =\left[\begin{array}{ccccc}{\lambda }_1^2& & & & \\ & {\lambda }_2^2& & & \\ & & \cdots & & \\ & & & {\lambda }_n^2& \end{array}\right]$$

且在svd分解中$V$为一组n维的正交基，即
$$V=\left[\begin{array}{cccc}{v}_1& v_2& \cdots & v_n\end{array}\right]$$

因此，n维向量x可用该组基来表示：
$$\begin{array}{rlr}x& ={\alpha }_1{v}_1+{\alpha }_2{v}_2+\cdots +{\alpha }_n{v}_n& =\left[\begin{array}{cccc}{v}_1& v_2& \cdots & v_n\end{array}\right]\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ \cdots \\ {\alpha }_n\end{array}\right]\end{array}$$

将上述两个式子代入，可得
$$\begin{array}{rl}||Ax||& =x^{T}V{\Lambda }^T\Lambda V^{T}x\\ & =\left[\begin{array}{cccc}{\alpha }_1& {\alpha }_2& \cdots & {\alpha }_n\end{array}\right]\left[\begin{array}{c}{v}_1\\ v_2\\ \cdots \\ v_n\end{array}\right]\left[\begin{array}{cccc}{v}_1& v_2& \cdots & v_n\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1^2& & & \\ & {\lambda }_2^2& & \\ & & \cdots & \\ & & & {\lambda }_n^2\end{array}\right]\\ & \left[\begin{array}{c}{v}_1\\ v_2\\ \cdots \\ v_n\end{array}\right]\left[\begin{array}{cccc}{v}_1& v_2& \cdots & v_n\end{array}\right]\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ \cdots \\ {\alpha }_n\end{array}\right]\\ & =\left[\begin{array}{cccc}{\alpha }_1& {\alpha }_2& \cdots & {\alpha }_n\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1^2& & & \\ & {\lambda }_2^2& & \\ & & \cdots & \\ & & & {\lambda }_n^2\end{array}\right]\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ \cdots \\ {\alpha }_n\end{array}\right]\\ & ={\alpha }_1^2{\lambda }_1^2+{\alpha }_2^2{\lambda }_2^2+\cdots +{\alpha }_n^2{\lambda }_n^2\end{array}$$

不是一般性，可令${\lambda }_1\cdots {\lambda }_N$的降序排列，则
$${\alpha }_1^2{\lambda }_1^2+{\alpha }_2^2{\lambda }_2^2+\cdots +{\alpha }_n^2{\lambda }_n^2\ge {\lambda }_N^2({\alpha }_1^2+{\alpha }_2^2+\cdots +{\alpha }_n^2)$$

因为$||x||＝1$，因此
$$({\alpha }_1^2+{\alpha }_2^2+\cdots +{\alpha }_n^2)=1$$
所以
$$||Ax||\ge {\lambda }_N^2({\alpha }_1^2+{\alpha }_2^2+\cdots +{\alpha }_n^2)$$

因此，取$A^{T}A$的最小特征值$\lambda$可使$||Ax||$最小

综上，取ATA的最小特征值对应的特征向量可使Ax＝0得到最优解，命题得证。

参考自：
博主：emilycs09
博文地址：https://blog.csdn.net/emilycs09/article/details/84929192
来源：CSDN