机器学习（八）最小二乘法

文章将从线性代数和概率论统计两个角度去分析和解释最小二乘法

1 线性代数

1.1 空间解析几何的相关定义

• 向量：在空间几何中，称既有大小又有方向的量为向量，也叫作几何（三维）向量。
• n维向量：n个数组成的有序数组（a₁,a₂,···,a_n）成为n维向量，这n个数称为该向量的n个分量，第i个数a_i,第i个数a_i称为第i个分量。n维向量简称为向量，一般用小写希腊字母如α，β，γ，···表示向量，小写英文字母a_i，b_i，c_i(i=1,2,···,n)表示向量的分量。
• n维向量空间
  向量的线性运算满足下面的运算规律：
  
  
  
  所有以实数为分量的n维向量的集合，若在其中定义了向量的加法与数乘两种运算，且满足上述八条运算律，则称该向量集合为实数集R上的n维向量空间，记为Rⁿ

1.2 最小二乘法

在定义了內积的n维向量空间Rⁿ(成为欧式空间或内积空间)中，定义两个向量α和β的距离等于α-β的长度，记为d(α,β)=|α-β|,而且这样的距离满足三条基本性质：

1. d(α,β)=d(β,α)
2. d(α,β)≥0,当且仅当α=β时等号成立
3. d(α,β)≤d(α,γ)+d(γ,β)

设W是Rⁿ的一个子空间，它是由α₁,α₂,···,α_s生成的，设W=L(α₁,α₂,···,α_s).假设Rⁿ中的一个向量β垂直于子空间W，就是指β垂直于W中的任何一个向量。回忆我们中学几何，我们学过一个点到一个平面或一条直线上的垂直距离最短，同样，在向量空间Rⁿ*中，一个向量与某个子空间中各向量间的距离以“垂线”为最短。
最小二乘问题 我们知道实系数线性方程组:

可能无解，记为（5.4.1）式，也就是任何一组实数x₁,x₂,x₂,···,x_s,都可能使：

不等于零，记为（5.4.2）式我们设法找x′₁,x′₂,···,x′_s,使得上式最小，用它作为线性方程组的近似解，这样的x′₁,x′₂,···,x′_s成为方程组的最小二乘解，这种问题叫作最小二乘问题。
下面利用欧式空间的概念来表达最小二乘法，并给出最小二乘解所满足的代数条件。令：

应用空间距离的概念，(5.4.2)式可写为|Y-B|²,最小二乘法就是找x′₁,x′₂,···,x′_s，使Y与B的距离|Y-B|为最短，Y可以表示成A的列向量的线性组合：

把A的各列向量记为α₁,α₂,···,α_s,并设W=L(α₁,α₂,···,α_s),则Y∈W。
因此，为了找X使(5.4.2)式最小，即|Y-B|²最小，就是要在W=L(α₁,α₂,···,α_s)中找到一个向量Y，使得B到Y的距离|Y-B|比B到W中其他向量的距离都短。
应用前面的讨论，如果Y=x₁α₁+x₂α₂+···+x_sα_s就是所求的向量，那么C=B-Y=B-AX必垂直于子空间W，那么C垂直于子空间W的充要条件是(α₁,C)=(α₂,C)=···=(α_s,C)=0,可写成：
因此由上式可得A^TC=0,即A^T(B-AX)=0,或A^TAX=A^TB,这就是最小二乘解所满足的线性方程组，它的系数矩阵是A^TA,常数项是A^sup</>B.

1.2 实例

1.3 最小二乘直线

变量x和y之间最简单的关系是线性方程y=β₀+β₁x,实验中数据常给出点列(x₁,y₁),(x₂,y₂),···,(x_n,y_n),而它们的图形近似于直线，我们希望确定参数β₀和β₁,使得直线尽可能“接近”这些点。
假若β₀和β₁固定，考虑直线y=β₀+β₁x，对应于每个数据点(x_i,y_i),相同的x坐标下，直线上的点列为(x_j,β₀+β₁x_j),我们称y_i为y的观测值，β₀+β₁x_j为y的预测值（由直线而定），观测值和预测值的差称为余差。

如果数据点在直线上，参数β₀和β₁满足方程：
我们可以将上述方程写成：

当然,如果数据点不在直线上，就没有参数β₀和β₁使得Xβ中的预测值与观测值相等，因而Xβ=y没有解，这就是Ax=b的最小二乘解问题，只是换了种说法。
向量Xβ与y的距离的平方精确表达为余差的平方和，于是使平方和最小的β同样使Xβ与y的距离最小，计算Xβ=y的最下二乘问题等价于找出β，它确定的图就是最小二乘直线。

1.4 最小二乘直线实例

（待更。。）