线性拟合2-正交回归

上一篇文章使用最小二乘法来拟合直线，有一个重要的缺点就是仅考虑了因变量 $y$存在误差的情况，但是很多情况下，原始点的横纵坐标都会有误差存在。

本文使用正交回归的方法，解决了最小二乘的两个缺点：

1. 同时考虑了横纵坐标的误差；
2. 使用点法式直线方程，能够表示二维平面上所有的点。

正交回归

正交方法能够同时考虑自变量$x$和因变量$y$的误差。正交回归将横纵坐标残差的平方和作为目标函数，来求得最优解。直观地理解，正交回归就是找到一条直线，使得点到直线的距离之和最小。
所以如果拟合点的横纵坐标都包含误差的情况下，使用正交回归能够得到更准确的结果。

目标函数

定义横坐标$x$的真值为$x^{\star }$，估计值为$\hat{x}$，则横坐标的误差和残差定义如下：
$${\eta }_i=x_i-x_i^{\star }$$
$${\hat{\eta }}_i=x_i-{\hat{x}}_i$$

要综合考虑横纵坐标的误差，得出的目标函数应该有如下形式：
$$\begin{array}{rl}{\mathbf{J}}_2& =\sum [({\widehat{ϵ}}_i{)}^2+({\hat{\eta }}_i{)}^2]\\ & =\sum [(y_i-{\hat{y}}_i{)}^2+(x_i-{\hat{x}}_i{)}^2]\end{array}$$

因为要求目标函数的最小值，所以点$({\hat{x}}_i,{\hat{y}}_i)$应该是直线上到点$(x_i,y_i)$距离最短的点，也就是第$i$个点到直线的正交投影点。所以目标函数可以写成：
$${\mathbf{J}}_2=\sum d_i^2$$

其中$d_i$为第$i$个点$(x_i,y_i)$到拟合直线的距离。

求解推导

上一篇文章中，最小二乘法使用斜截式直线方程的话，会有无法表示的直线，所以本文使用点法式直线方程。

用点法式直线方程的形式来表示拟合的直线$a(x-x_0)+b(y-y_0)=0$，其中$(x_0,y_0)$是直线经过的一个点的坐标，$(a,b)$为直线的法向量。因为向量仅表示一个方向，其长度我们并不关心，所以为了方便计算，我们采用直线的单位法向量来表示。所以有：
$$a^2+b^2=1$$

第$i$个点到直线的距离，可以表示为向量$(x_i-x_0,$