线性最小二乘法

最新推荐文章于 2020-10-03 18:25:48 发布

醉雨轩^_^

最新推荐文章于 2020-10-03 18:25:48 发布

阅读量651

点赞数

分类专栏：算法

本文链接：https://blog.csdn.net/miao0967020148/article/details/106890379

版权

算法专栏收录该内容

12 篇文章 3 订阅

订阅专栏

1.线性最小二乘作为优化问题

让 $A\in\mathbb{R}^{m \times n}$ 和 $b\in\mathbb{R}^{m }$ ，假定 $m\gg n$ 。

在这种情况下，极不可能存在向量 $x \in \mathbb{R}^{n}$ ，使得 Ax = b 。作为替代目标，我们尝试找到尽可能逼近求解 Ax = b 的。

但是，我们必须先定义逼近概念。一种方法是尝试找到向量，使残差范数 $\left \| Ax-b \right \|_{2}$ 的范数最小。

也就是说，我们希望找到一个向量 $\bar{ x }$ ，使得

$\begin{align*} \left \| A\bar{x}-b \right \|_{2}\leq \left \| A x-b \right \|_{2}, \forall x \in \mathbb{R}^{n}\end{align*}$

同样，我们希望解决优化问题

$\begin{align*}\mathcal{L}\mathcal{L}\mathcal{S} \quad \underset{x \in \mathbb{R}^{n}}{\min}\frac{1}{2}\sum_{i=1}^{m}\left(\sum_{j=1}^{n}A_{ij}x_{j}-b_{i} \right)^{2}=\frac{1}{2}\left\Vert Ax-b \right\Vert_{2}^{2} \end{align*}$

如果令 $f(x)=\frac{1}{2}\left \| Ax-b \right \|^{2}_{2}$ ，那么求解 $\mathcal{L}\mathcal{L}\mathcal{S}$ 的点一阶必要条件是 $\nabla f(x)=0$ 。

为了利用这个性质，我们需要求梯度的表达式。

对于 $i=1,2,\dots,m$ ，令

$\phi_{i}(x)=\left( \sum_{j=1}^{n}A_{ij}x_{j} -b_{i}\right)^{2}$

则 $f(x)=\frac{1}{2}\sum_{i=1}^{m}\phi_{i}(x)$ 。

观察，对于 $i\in \left \{ 1,2,\dots,m \right \}$ 和 $j_{0}\in \left \{ 1,2,\dots,n \right \}$

$\frac{\partial}{\partial x_{j_{0}}}\phi_{i}(x)=\frac{\partial}{\partial x_{j_{0}}}\left( \sum_{j=1}^{n}A_{ij}x_{j}-b_{i} \right)^{2}=2A_{ij_{0}}\left( \sum_{j=1}^{n}A_{ij}x_{j}-b_{i} \right)$

接着，

$\frac{\partial}{\partial x_{j_{0}}}f(x)=\sum_{i=1}^{m}A_{ij_{0}}\left( \sum_{j=1}^{n}A_{ij}x_{j}-b_{i} \right)=A_{\cdot j_{0}}^{T}(Ax-b)$

则有

$\nabla f(x)=\begin{bmatrix} \frac{\partial}{\partial x_{1}}{f(x)} \\ \frac{\partial}{\partial x_{2}}{f(x)} \\ \vdots\\ \frac{\partial}{\partial x_{n}}{f(x)} \end{bmatrix} =\begin{bmatrix} A_{\cdot 1}^{T}(Ax-b) \\ A_{\cdot 2}^{T}(Ax-b) \\ \vdots\\ A_{\cdot n}^{T}(Ax-b) \end{bmatrix} =A^{T}(Ax-b)$

因此，如果 $x \in \mathbb{R}^{n}$ 解决 $\mathcal{L}\mathcal{L}\mathcal{S}$ ，那么有 $0=\nabla f(x)=A^{T}(Ax-b)$ 或者 $A^{T}Ax=A^{T}b$ 。该等式称为线性最小二乘问题 $\mathcal{L}\mathcal{L}\mathcal{S}$ 的正规方程。现在我们必须解决一个问题：正规方程是否存在解。为此，我们引用以下引理

引理1 对于每个矩阵 $A\in\mathbb{R}^{m \times n}$ ，我们有

$Null(A^{T}A)=Null(A) \quad Ran(A^{T}A)=Ran(A)$

证明：如果 $x \in Null(A)$ ，则 Ax=0 ，因此 $A^{T}Ax=0$ 。这样 $x\in Null(A^{T}A)$ 。于是 $Null(A) \subset Null(A^{T}A)$ 。

反之， $x\in Null(A^{T}A)$ ，则 $A^{T}Ax=0\Rightarrow x^{T}A^{T}Ax=0 \Rightarrow (Ax)^{T}(Ax)=0\Rightarrow \left\Vert Ax\right\Vert_{2}^{2} \Rightarrow Ax=0$ ，

这样 $x \in Null(A)$ 。因此 $Null(A^{T}A) \subset Null(A)$ ，得证 $Null(A^{T}A) = Null(A)$ 。

由于 $Null(A^{T}A) = Null(A)$ ，由替代的基本定理可知，

$Ran(A^{T}A)=Ran((A^{T}A)^{T})=Null(A^{T}A)^{\perp}=Null(A)^{\perp}=Ran(A^{T})$

定理得证。

现在让我们根据这个引理来检验正规方程解的存在性。

正规方程是 $A^{T}Ax=A^{T}b$ 。通过定义， $A^{T}b \in Ran(A^{T})$ 。由引理1可知， $Ran(A^{T})=Ran(A^{T}A)$ 。因此一定存在，使得 $A^{T}Ax=A^{T}b$ 。也就是说，无论选择矩阵 $A\in\mathbb{R}^{m \times n}$ 和向量 $b\in\mathbb{R}^{m }$ ，正规方程始终是一致的。

定理2. 正规方程对所有矩阵 $A\in\mathbb{R}^{m \times n}$ 和向量 $b\in\mathbb{R}^{m }$ 都是一致的。

定理3.令 $A\in\mathbb{R}^{m \times n}$ 和 $b\in\mathbb{R}^{m }$ 。然后，对于 $A^{T}Ax=A^{T}b$ 每个解 $\bar{x}$ 满足于

$\begin{align*} \left \| A\bar{x}-b \right \|_{2}\leq \left \| A x-b \right \|_{2}, \forall x \in \mathbb{R}^{n}\end{align*}$ ，这个 $\bar{x}$ 是 $\mathcal{L}\mathcal{L}\mathcal{S}$ 一个全局解。
证明：给 $u,v \in \mathbb{R}^{m}$ ，有 $\left \| u+v \right \|_{2}^{2}=(u+v)^{T}(u+v)=u^{T}u+2u^{T}v+v^{T}v=\left \| u \right \|_{2}^{2}+2u^{T}v+\left \| v \right \|_{2}^{2}$
接着，对于每个 $x \in \mathbb{R}^{n}$ ，有

$\begin{align*} \left \| Ax-b \right \|_{2}^{2}&=\left \| (Ax-A\bar{x})+(A\bar{x}-b) \right \|_{2}^{2}\\ &=\left \| A(x-\bar{x}) \right \|_{2}^{2}+2(A(x-\bar{x}))^{T}(A\bar{x}-b) +\left \|A\bar{x}-b \right \|_{2}^{2}\\ &\geq 2(x-\bar{x})^{T}A^{T}(A\bar{x}-b)+\left \|A\bar{x}-b \right \|_{2}^{2} \quad\quad(\left \| A(x-\bar{x}) \right \|_{2}^{2}\geq 0)\\ &=\left \|A\bar{x}-b \right \|_{2}^{2} \quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad\quad(A^{T}(A\bar{x}-b)=0) \end{align*}$ ，

得证。

定理4. 当且仅当最小二乘法问题 $\mathcal{L}\mathcal{L}\mathcal{S}$ 有唯一解.

2.正交投影到子空间

假定子空间是 $S\subset \mathbb{R}^{m}$ ，且 $b\notin S$ 。和最小距离问题是找到的元素尽可能逼近。需解决的问题

$\underset{z \in S}{\min}\frac{1}{2}\left\Vert z-y \right\Vert_{2}^{2}$

解 $\bar{z} \in S$ ，使得 $\begin{align*} \left \| \bar{z}-b \right \|_{2}\leq \left \| z-b \right \|_{2}, \forall z \in S\end{align*}$

醉雨轩^_^

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
线性最小二乘法

1.线性最小二乘作为优化问题让和，假定。在这种情况下，极不可能存在向量，使得。作为替代目标，我们尝试找到尽可能逼近求解的。但是，我们必须先定义逼近概念。一种方法是尝试找到向量，使残差范数的范数最小。也就是说，我们希望找到一个向量，使得同样，我们希望解决优化问题如果令，那么求解的点一阶必要条件是。为了利用这个性质，我们需要求梯度的表达式。对于，令则。观察，对于和接着，则有因此，如果解决，那么有或者。该等式称为线性最小二乘问题的正规方
复制链接

扫一扫

专栏目录