线性回归与线性拟合的原理、推导与算法实现

关于回归和拟合，从它们的求解过程以及结果来看，两者似乎没有太大差别，事实也的确如此。从本质上说，回归属于数理统计问题，研究解释变量与响应变量之间的关系以及相关性等问题。而拟合是把平面的一系列点，用一条光滑曲线连接起来，并且让更多的点在曲线上或曲线附近。更确切的说，拟合是回归用到的一种数学方法，而拟合与回归的应用场合不同。

拟合常用的方法有最小二乘法、梯度下降法、高斯牛顿（即迭代最小二乘）、列-马算法。其中最最常用的就是最小二乘法。并且拟合可以分为线性拟合与非线性拟合，非线性拟合比较常用的是多项式拟合。根据自变量的个数，拟合也可以分为曲线拟合与曲面拟合等。

回归大多数采用最小二乘法。回归可以分为一元线性回归、一元非线性回归、多元线性回归、多元非线性回归等。

1、最小二乘法

无论是在高等数学、线性代数，还是数理统计，我们都可以看到最小二乘法的身影。只不过每一部分侧重点不同，最终是殊途同归的。但是建议用矩阵的方法来做，这样很便于理解，计算起来也很方便。

最小二乘法的基本思路是：确定函数f(x),使得各个点x1,x2..xn处的函数值偏差f(x1)-y1、f(x2)-y2...f(xn)-yn的平方和或绝对值和最小。如果是一元线性拟合（回归），我们可以设方程为f(x)=kx+b。

这时我们求得函数值偏差平方和为。为了求它的最小值，利用高数的方法，就可以使M分别对k和b的偏导为0，最终求解得方程组:

公式1 ：

公式2 ：

由式2括号内为0，则有b的表达式

公式3 ：

将式(3)代入到式(2)中得到式(4)

公式4 ：

整理式(4)我们可以得到k的表达式

公式5 ：

如果用线性代数的角度来看其实矩阵表达更加简洁，我们最终需要寻找最佳的k和b ：

公式6 ：

写成矩阵的形式：

公式7 ：

令 ，，

我们可以写成矩阵形式：

公式8 ：

我们要解K，这时候X如果是方阵那么自然的就可以左右两边同时乘X的逆，但是如果X不是方阵（行数大于列数），我们可以左右同乘以X的转置，转换为方阵再取逆(当然能取逆的前提是行列式不能为0)，具体如下，求得的逆叫做伪逆：

公式9 ：  =>  =>  

所以解得K的值：

公式10 ：

2、matlab实现

现在有这么一组数据 

x	y
0.1	1.7805
0.3	2.2285
0.4	2.3941
0.75	3.2226
0.9	3.5697

我们利用matlab进行绘制散点图查看一下

x=[0.1;0.3;0.4;0.75;0.9]; 
y=[1.7805;2.2285;2.3941;3.2226;3.5697];
plot(x,y,'o')
xlim([0,1]);
ylim([1.6,3.7]);
hold on;

可以看出满足很好的线性关系，下面我们用上述最小二乘法的思想求一下拟合直线的k 和b ：

方法1：代数方法计算

N=length(x);
k=(sum(y.*x)-N*mean(y)*mean(x))/(sum(x.^2)-N*mean(x)^2);
b=mean(y)-k*mean(x);
x_line=linspace(0,1,101);
y_line=k*x_line+b;
plot(x_line,y_line,'Color','r','LineWidth',1)

查看k和b的值：

k=2.2411
b=1.5409

 方法2：矩阵计算

N=length(x);
X=[x,ones(N,1)];
Y=y;
K=inv(X'*X)*X'*Y;
k=K(1);
b=K(2);
x_line=linspace(0,1,101);
y_line=k*x_line+b;
plot(x_line,y_line,'Color','r','LineWidth',1)

查看k和b的值：

k=2.2411
b=1.5409

至此，我们可以看到两种方法的结果是一样的。