本文介绍了向量到子空间的距离定义及性质，并通过最小二乘法解决实际问题，例如根据材料成品率与化学成分的关系寻找近似公式。最小二乘法寻找使误差平方和最小的解，其代数条件可以通过线性方程组表示。
§ 7 向量到子空间的距离 - 最小二乘法
在解析几何中,两个点 α \boldsymbol{\alpha} α 和 β \boldsymbol{\beta} β
间的距离等于向量 α − β \boldsymbol{\alpha}-\boldsymbol{\beta} α−β
的长度.在欧氏空间中我们同样可引入
定义 13 长度 ∣ α − β ∣ |\boldsymbol{\alpha}-\boldsymbol{\beta}| ∣α−β∣ 称为向量
α \boldsymbol{\alpha} α 和 β \boldsymbol{\beta} β 的距离, 记为
d ( α , β ) d(\boldsymbol{\alpha}, \boldsymbol{\beta}) d(α,β).
不难证明距离的三条基本性质:
1)
d ( α , β ) = d ( β , α ) d(\boldsymbol{\alpha}, \boldsymbol{\beta})=d(\boldsymbol{\beta}, \boldsymbol{\alpha}) d(α,β)=d(β,α);
2) d ( α , β ) ⩾ 0 d(\boldsymbol{\alpha}, \boldsymbol{\beta}) \geqslant 0 d(α,β)⩾0, 并且仅当
α = β \boldsymbol{\alpha}=\boldsymbol{\beta} α=β 时等号才成立;
3)
d ( α , β ) ⩽ d ( α , γ ) + d ( γ , β ) d(\boldsymbol{\alpha}, \boldsymbol{\beta}) \leqslant d(\boldsymbol{\alpha}, \boldsymbol{\gamma})+d(\boldsymbol{\gamma}, \boldsymbol{\beta}) d(α,β)⩽d(α,γ)+d(γ,β)
(三角形不等式).
证明留给读者.
在中学所学几何中知道一个点到一个平面 (或一条直线)
上所有点的距离以垂线最短.下面可以证明一个固定向量和一个子空间中各向量间的距离也是以"垂线最短".
先设一个子空间 W W W, 它是由向量
α 1 , α 2 , ⋯ , α k \boldsymbol{\alpha}_{1}, \boldsymbol{\alpha}_{2}, \cdots, \boldsymbol{\alpha}_{k} α1,α2,⋯,αk
所生成, 即
W = L ( α 1 , α 2 , ⋯ , α k ) W=L\left(\boldsymbol{\alpha}_{1}, \boldsymbol{\alpha}_{2}, \cdots, \boldsymbol{\alpha}_{k}\right) W=L(α1,α2,⋯,αk).一个向量
α \boldsymbol{\alpha} α 垂直于子空间 W W W,就是指向量 α \boldsymbol{\alpha} α
垂直于 W W W 中任何一个向量.容易验证 α \boldsymbol{\alpha} α 垂直于 W W W
的充分必要条件是 α \boldsymbol{\alpha} α 垂直于每个
α i ( i = 1 , 2 , ⋯ , k ) \boldsymbol{\alpha}_{i}(i=1,2, \cdots, k) αi(i=1,2,⋯,k).
现给定 β \boldsymbol{\beta} β, 设 γ \gamma γ 是 W W W 中的向量, 满足
β − γ \boldsymbol{\beta}-\boldsymbol{\gamma} β−γ 垂直于 W W W. 要证明
β \boldsymbol{\beta} β 到 W W W 中各向量的距离以垂线最短, 就是要证明对 W W W
中任一向量 δ \boldsymbol{\delta} δ, 有
∣ β − γ ∣ ⩽ ∣ β − δ ∣ . |\beta-\gamma| \leqslant|\beta-\delta| . ∣β−γ∣⩽∣β−δ∣.
我们可以画出示意图,如图 1 所示.
证明
β − δ = ( β − γ ) + ( γ − δ ) \boldsymbol{\beta}-\boldsymbol{\delta}=(\boldsymbol{\beta}-\boldsymbol{\gamma})+(\boldsymbol{\gamma}-\boldsymbol{\delta}) β−δ=(β−γ)+(γ−δ).
因 W W W 是子空间, γ ∈ W , δ ∈ W \boldsymbol{\gamma} \in W, \boldsymbol{\delta} \in W γ∈W,δ∈W,
则 γ − δ ∈ W \boldsymbol{\gamma}-\boldsymbol{\delta} \in W γ−δ∈W. 故
β − γ \boldsymbol{\beta}-\boldsymbol{\gamma} β−γ 垂直于
γ − δ \boldsymbol{\gamma}-\boldsymbol{\delta} γ−δ. 由勾股定理,
∣ β − γ ∣ 2 + ∣ γ − δ ∣ 2 = ∣ β − δ ∣ 2 , |\boldsymbol{\beta}-\boldsymbol{\gamma}|^{2}+|\boldsymbol{\gamma}-\boldsymbol{\delta}|^{2}=|\boldsymbol{\beta}-\boldsymbol{\delta}|^{2}, ∣β−γ∣2+∣γ−δ∣2=∣β−δ∣2,
故
∣ β − γ ∣ ⩽ ∣ β − δ ∣ . I |\beta-\gamma| \leqslant|\beta-\delta| . I ∣β−γ∣⩽∣β−δ∣.I
这就证明了,向量到子空间各向量间的距离以垂线最短.
这个几何事实可以用来解决一些实际问题,其中的一个应用就是解决最小二乘法问题.
先看下面的例子.
{width=“252px”}
图 1
例 已知某种材料在生产过程中的茂品率 y y y 与某种化学成分 x x x
有关.下列表中记载了某工厂生产中 y y y 与相应的 x x x 的几次数值:
y / % y / \% y/% 1.00 0.9 0.9 0.81 0.60 0.56 0.35
x / % x / \% x/% 3.6 3.7 3.8 3.9 4.0 4.1 4.2
我们想找出 y y y 对 x x x 的一个近似公式.
解 把表中数值画出图来看, 发现它的变化趋势近于一条直线. 因此我们决定选取
x x x 的一次式 a x + b a x+b ax+b 来表达. 当然最好能选到适当的 a , b a, b a,b 使得等式
{ 3.6 a + b − 1.00 = 0 , 3.7 a + b − 0.9 = 0 , 3.8 a + b − 0.9 = 0 , 3.9 a + b − 0.81 = 0 , 4.0 a + b − 0.60 = 0 , 4.1 a + b − 0.56 = 0 ,
最低0.47元/天 解锁文章
468
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
