线性回归【python，机器学习，算法】

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为 0 的正态分布。
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

下面以一元线性回归为例进行分析。主要思路步骤如下：

1. 获取样本数据 X， 样本是一系列的散点分布的数据，可以使用直线进行拟合。
2. 假设拟合的直线为$y=ax+b$。
3. 通过数学方法求取拟合直线中$a$和$b$的值。将$a$和$b$带入拟合直线中即可得到线性回归方程。
4. 将测试数据带入线性方程中，可以预测其实际的近似值。

如何求取$a$和$b$参数

我们采用最小二乘法来求解。过程如下：

1. 定义损失函数$L(a,b)=\sum _{i=1}^N(y_i-y{)}^2=\sum _{i=1}^N(y_i-a{x}_i-b{)}^2$,
   其中 N 表示样本的数量，y 表示通过回归直线求预测的值。
2. 要使回归方程效果更佳，损失函数的值应该取最小。通过化简损失函数，然后利用二元一次方程在对称轴处取得最小值的性质得出a,b的值。

   • 化简推导。
     $$\begin{gathered} \sum _{i=1}^N(y_i-a{x}_i-b{)}^2 \\ =\sum _{i=1}^N(y_i-a{x}_i{)}^2-\sum _{i=1}^{N}2b(y_i-a{x}_i)+\sum _{i=1}^N{b}^2 \\ =\sum _{i=1}^N(y_i-a{x}_i{)}^2-2bn(\bar{y}-a\bar{x})+n(\bar{y}-a\bar{x}{)}^2-n(\bar{y}-a\bar{x}{)}^2+n{b}^2 \\ =\sum _{i=1}^N(y_i-a{x}_i{)}^2-n(\bar{y}-a\bar{x}{)}^2+n(b-\bar{y}+a\bar{x}{)}^2 \\ =\sum _{i=1}^N(y_i{)}^2+a^2\sum _{i=1}^N(x_i{)}^2-2a\sum _{i=1}^N(y_i{x}_i)-n{\bar{y}}^2-a^{2}n{\bar{x}}^2+2an\bar{x}\bar{y}+n(b-\bar{y}+a\bar{x}{)}^2 \\ =\sum _{i=1}^N(y_i{)}^2+a^2(\sum _{i=1}^N(x_i{)}^2-n{\bar{x}}^2)-2a(\sum _{i=1}^N(y_i{x}_i)-n\bar{x}\bar{y})+n(b-\bar{y}+a\bar{x}{)}^2 \end{gathered}$$

   • 因此有以下推导结论：
     $$\begin{gathered} a=\frac{\sum _{i=1}^N(y_i{x}_i)-n\bar{x}\bar{y}}{\sum _{i=1}^N(x_i{)}^2-n{\bar{x}}^2} \\ =\frac{\sum _{i=1}^N(x_i-\bar{x})(y_i-\bar{y})}{\sum _{i=1}^N(x_i-\bar{x}{)}^2} \end{gathered}$$

     $b=\bar{y}-a\bar{x}$。