线性回归及实现

什么是回归

回归百度百科的定义是：研究一组随机变量$Y=(y_1,y_2,,,,y_n)$与另一组随机变量$X=(x_1,x_2,,,,x_n)$之间关系的统计变量方法。回归主要的种类有：线性回归、曲线回归、二元logistic回归、多元logistic回归。

回归从一组数据出发，确定某些变量之间的定量关系式；即建立数学模型并估计未知参数。通常用最小二乘法。

线性回归

当因变量和自变量为线性关系时，它是一种特殊的线性模型，也就是线性回归，你可以把线性回归理解为求一条直线来拟合你的数据点。

推导

以预测房价为例，给定一组数据点$(Y_1,Y_2,,,,Y_n)$，$(X_1,X_2,,,,X_n)$，其中的$Y_i$表示对应的样本输入为$X_i$时的房价，是一个标量，而$X_i$是一个d维向量，每一维表示衡量房价的一个标准，比如第一维表示面积、第二维表示房间地理位置、第三维表示楼层等。

我们知道2维空间中直线的方程是：$$y=kx+b$$
3维空间中直线方程是：$$z=k_{1}x+k_{2}y+b$$
那么类比d维空间中的直线方程应该是：
$$y={\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_d{x}_d+{\theta }_0\text{\hspace{1em}(1)}$$
线性回归就是要求出这条直线，也就是已知数据点，求出直线的参数${\theta }_i,i=[0,1,2,...d]$，其中，小写的$x_j$表示$X_i$的d个特征中的第j个特征的数值。

我们发现$X_i$相当于一个d维的向量，而参数$\theta$也有d+1个，所以想到用$\theta =[{\theta }_0,{\theta }_1,,,{\theta }_d]$来表示，将$X_i$扩展1维也变成d+1维，即$X_i=[1,x_1,x_2,...x_d]$，所以(1)式可以变成向量相乘的形式：
$$\hat{Y}=X\theta \text{\hspace{1em}(2)}$$
其中，$X,\theta 都是d+1$维的向量， X是行向量，$\theta 是列向量$。

(2)式是我们建立好的模型，将来我们要用它来预测房价，那么怎么衡量预测值与真实值之间的差异呢？就是用平方损失函数来衡量。

平方损失函数

$$J(\theta )=\sum _{i=1}^n(Y_i-{\hat{Y}}_i{)}^2\text{\hspace{1em}(3)}$$
（3）式也可以向量化，如下图所示：

所以损失函数可向量化为：
$$J(\theta )=(y-X_d\theta {)}^T(y-X_d\theta )\text{\hspace{1em}(4)}$$
其中y是真实标签，$X_d\theta$是预测标签，这样就可以衡量损失了。
要计算$\theta$，则可以先把(4)式展开，然后对$\theta$求导：

求导之后就变成下面的式子：

变形得到：

之后就可以用得到的线性方程来预测房价了。

实现

实现可以看我的github地址：实现

参考：通俗理解线性回归（二）