最优化 最小二乘法

1.概述

最优化问题中, 若目标函数是若干个函数的平方和, 一般形式为

$$F(x)=\sum_{i=1}^mf_i^2(x)$$
其中x是n维向量, 则称为最小二乘问题.

2. 线性最小二乘问题

若函数f(x)是线性的, 则称为线性最小二乘问题.

$$f_i(x)=p_i^Tx-b_i$$
令
$$A=\begin{pmatrix} p_1^T \\ \vdots \\ p_m^T \end{pmatrix} , b=\begin{pmatrix} b_1 \\ \vdots \\ b_m \end{pmatrix}$$
则 $$F(x)=\sum_{i=1}^mf_i^2(x)= \begin{pmatrix} f_1(x), \cdots , f_m(x) \end{pmatrix} \begin{pmatrix} f_1(x) \\ \vdots \\ f_m(x) \end{pmatrix} \\ =(Ax-b)^T(Ax-b) \\ =x^TA^TAx-2b^TAx+b^Tb$$
现在求F(x)的平稳点, 令
$$\nabla F(x)=aA^TAx-2A^Tb=0$$
解得 $$\bar x=(A^TA)^{-1}A^Tb$$