线性回归——最小二乘法

线性回归：自变量和因变量之间是线性关系，例如：h= a0+a1x1+a2x2+…+anxn。线性回归预测的一般步骤：假设特征变量Xi满足线性关系，然后根据给定的训练数据训练出一个模型，最后通过此模型进行预测。线性回归的根本就是求解最小损失函数，常用的方法有：最小二乘法，梯度下降法和正则化。

1.1模型推导

假设数据满足线性模型条件，可以设定线性模型为：

h=a0+a1x1+a2x2+…+anxn

所以预测值与特征变量的关系为：

其中：X=[x0,x1…xn]，A=[a0,a1…an]T, x0=1,i表示第i个特征变量

把训练数据代入上面的设定模型中，然后可以通过训练模型得到一个预测值，预测值与真实值的关系为：

其中：y为训练样本的真实值，ε为真实值和预测值的差，j表示样本次数。

根据大数定律和中心极限定律假定样本无穷大的时候，所有真实值和预测值的误差的和∑ε 服从u=0,方差=δ²的高斯分布且独立同分布，然后可以通过最大似然函数化简得到线性回归的损失函数；

对于最简单的一元线性回归：y=ax+b，由上式可得:

也就是说损失函数是关于a,b的函数，要想使损失函数最小，且函数存在驻点（偏导等于0），那么驻点即为最小处。

对于多元线性回归也可以用矩阵表示：对A求偏导得：