机器学习之线性回归

什么是线性回归

线性回归利⽤回归⽅程(函数)对⼀个或多个⾃变量(特征值)和因变量(⽬标值)之间
关系进⾏建模的⼀种分析⽅式。一般只有一个特征值的称之为单变量回归，多个特征值的称之为多变量回归。

线性回归

线性回归可以分为两类：线性关系和非线性关系。

1. 线性关系
   线性关系是指特征值和目标值之间的关系呈现多元一次关系，例如一个特征值时，则特征值和目标值呈现直线性关系；两个特征值时，则特征值和目标值呈现平面关系。
   
2. 非线性关系
   非线性关系指特征值和目标值之间的关系呈多元二次以上关系，即关系无法用直线来表达，需要用直线才能贴合。
   

损失函数

由算法得出的线性回归方程有会多种，那么模型是怎么选出最有的回归方程呢，那么让回归方程的值与实际值的误差最小，就是最好的回归方程，这就我们优化回归方程的函数：损失函数。
损失函数：预测的所有数值与实际数值之间差的平方的总和，又叫做最小二乘法，数学定义如下：

那么我们怎么求模型中的各个系数w，使得损失函数最小？在线性回归中常用到两种方法：

1. 正规方程法
2. 梯度下降法

1. 正规方程(LinearRegression)

正规方程法就是数学中的求方程的未知数，将特征值、目标值和未知数w列出方程组，求解方程组，即可得到系数w，如下图的方程组。当特征值和w较少时，比较容易算出，但特征过多过于