一般线性最小二乘法

最新推荐文章于 2022-05-13 13:48:39 发布

acmdream

最新推荐文章于 2022-05-13 13:48:39 发布

阅读量1.8k

点赞数 1

分类专栏：运筹学

运筹学专栏收录该内容

0 篇文章 0 订阅

订阅专栏

转自：http://blog.csdn.net/u013007900/article/details/45933435

最小二乘法：

人们对由某一变量t 或多个变量 t1,…,tn 构成的相关变量 y 感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型

y m = f (t 1, \dots, t q; x 1, \dots, x p)

q个相关变量或p个附加的相关变量去拟和。
通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型称作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。
其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。
确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：

min x ⃗ \sum i = 1 n (y m - y i) 2

用欧几里得度量表达为：

min x ⃗ ∥ y ⃗ m (x ⃗) - y ⃗ ∥ 2

最小化问题的精度，依赖于所选择的函数模型。

线性函数模型

典型的一类函数模型是线性函数模型。最简单的线性式是 y=x0+x1t ，写成行列式，为

min x 0, x 1 ∥ ∥ ∥ ∥ ∥ ⎛ ⎝ ⎜ ⎜ 1 ⋮ 1 t 1 ⋮ t n ⎞ ⎠ ⎟ ⎟ (x 0 x 1) - ⎛ ⎝ ⎜ ⎜ y 1 ⋮ y n ⎞ ⎠ ⎟ ⎟ ∥ ∥ ∥ ∥ ∥ 2 = min x ∥ A x - b ∥ 2

直接给出该式的参数解：

x 1 = \sum n i = 1 t i y i - n \cdot t ¯ y ¯ \sum n i = 1 t 2 i - n \cdot ( t ¯ ) 2 和 x 0 = y ¯ - x 1 t ¯

其中

t¯=1n∑ni=1ti ，为

t 值的算术平均值。也可解得如下形式：

x 1 = \sum n i = 1 ( t i - t ¯ ) ( y i - y ¯ ) \sum n i = 1 ( t i - t ¯ ) 2

一般线性情况

若含有更多不相关模型变量 t1,...,tq ，可如组成线性函数的形式
y(t1,…,tq;x0,x1,…,xq)=x0+x1t1+⋯+xqtq
即线性方程组

x 0 + x 1 t 11 + \dots + x j t 1 j + \dots + x q t 1 q = y 1 x 0 + x 1 t 21 + \dots + x j t 2 j + \dots + x q t 2 q = y 2 ⋮ x 0 + x 1 t i 1 + \dots + x j t i j + \dots + x q t i q = y i ⋮ x 0 + x 1 t n 1 + \dots + x j t n j + \dots + x q t n q = y n

通常人们将tij记作数据矩阵 A，参数xj记做参数矢量x，观测值yi记作b，则线性方程组又可写成：

⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ 11 ⋮ 1 ⋮ 1 t 11 t 21 t i 1 t n 1 \dots \dots \dots \dots t 1 j \dots t 2 j \dots t i j \dots t n j \dots t 1 q t 2 q t i q t n q ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ \cdot ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ x 0 x 1 x 2 ⋮ x j ⋮ x q ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ y 1 y 2 ⋮ y i ⋮ y n ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟

即

Ax=b
上述方程运用最小二乘法导出为线性平差计算的形式为：

minx∥Ax−b∥2

最小二乘法的解

定理：线性方程组 Ax=b 的LS问题一定有解，且求解LS问题与求解线性方程组的法方程组等价

A T A x = A T b

证明：
rank(A)=rank(ATA)⇒rank(ATA)≤rank([ATA,ATb])=rank(aT[A,b])≤rank(AT)=rank(A)⇒rank(ATA)=rank([ATA,ATb])
从而方程组一定有解

$f (x) = ∥ b - A x ∥ 2 ∥ b - A x * ∥ 2 = min x \in R n ∥ b - A x ∥ 2 ⎫ ⎭ ⎬ \Rightarrow$
$g r a d f (x *) = (\partial f ( x * ) \partial x 1, \partial f ( x * ) \partial x 2, \dots, \partial f ( x * ) \partial x n) T = 0 \Rightarrow 2 (A T A x * - A T b) = 0$
说明LS解必定是法方程组的解
$A T A x * = A T b \Rightarrow A T (A x * - b) = 0 \Rightarrow A x * - b ⊥ R (A) = {y \in R m | y = A x, x \in R n} \Rightarrow ∥ b - A x ∥ 2 = ∥ (b - A x *) + A (x * - x) ∥ 2 = ∥ b - A x * ∥ 2 + ∥ A (x * - x) ∥ 2 \geq ∥ b - A x * ∥ 2$
说明法方程组的解必定是LS解

推论：当秩 (Am×n)=n 时， ATA 为对称正定矩阵，最小二乘法问题有唯一解

x L S = (A T A) - 1 A T b

其中

(ATA)−1AT 称为A的伪逆矩阵，标记为

A†

证明：
先将b拆成A的值域及其正交补两部分
b=b1+b2
b1=AA†b∈R(A)
b2=(I−AA†)b∈R(A)⊥
所以 Ax−b1∈R(A) ，可得

$∥ A x - b ∥ 2 = ∥ A x - b 1 + (- b 2) ∥ 2 = ∥ A x - b 1 ∥ 2 + ∥ b 2 ∥ 2$
故当且仅当 x 是 Ax=b1=AA†b 解时， x 即为最小二乘解，即 x=A†b 。
又因为
N(A)=N(A†A)=R(I−A†A)={(I−A†A)h:h∈Cn}
故 Ax=AA†b 的通解为
x=A†b+(I−A†A)h:h∈Cn
因为
$∥ ∥ A † b ∥ ∥ 2 < ∥ ∥ A † b ∥ ∥ 2 + ∥ ∥ (I - A † A) h ∥ ∥ 2 = ∥ ∥ A † b + (I - A † A) h ∥ ∥ 2, (I - A † A) h \neq 0$
所以 A†b 又是二范数极小的最小二乘解。