线性回归简单理解

线性回归作为每一个机器学习教程入门第一个算法，其原理很好理解。
如果x，y坐标系（一个平面）上有很多个点，我们需要找到点的x和y坐标值之间的关系。因此，一元线性回归就是通过一条直线去描绘坐标系上的点，这条直线就能表示为：
y=wx+b
其中w表示斜率，b表示截距。
实际数据的往往都比较复杂，比如现在平面上有如下的点：我们会发现，不管斜率和截距取多少，我们都无法通过一条直线通过每一个点。线性回归就是在这个平面上找到一条直线，使得这个直线尽可能的靠近每一个点。（这里只有一个自变量X，因此是一元线性回归，多个自变量X为多元线性回归）

如何评价哪一根直线是最优的直线呢？那么我们就需要计算每一个X在直线上的y值与原来点的Y值之间的差，总体差值（代价函数）较小的这条直线即为最优直线，也就是最优的w和b。
具体的求这个代价函数最小的方法是通过梯度下降法来进行求解，比如下面这个参数与代价函数在某一段上的图：

在建立线性回归模型时，首先初始化一组参数，以k为例，当加入初始化K值为0.1，其代价函数并没有达到最优，因此我们需要增加K值，修改方式是对K进行求导，当K=0.1时，其导数值小于0，因此我们K值修改为K+学习率*斜率。多次迭代后，K值就会到达全部最优值或者局部最优。线性回归模型建立完毕。