python解一元二次方程coef_机器学习之线性回归(纯python实现)][转]

线性回归是机器学习中最基本的一个算法，大部分算法都是由基本的算法演变而来。本文着重用很简单的语言说一下线性回归。

线性回归

包括一元线性回归和多元线性回归，一元指的是只有一个x和一个y。通过一元对于线性回归有个基本的理解。

一元线性回归就是在数据中找到一条直线，以最小的误差来(Loss)来拟和数据。

上面提到的误差可以这样表示，假设那条直线如下图：

理想情况是所有点都落在直线上。退一步，希望所有点离直线的距离最近。简单起见，将距离求平方，误差可以表示为：

上面的i表示第i个数据。一般情况下对Loss求平均，来当作最终的损失。

最小化误差

找到最能拟合数据的直线，也就是最小化误差。

最小二乘法

上述公式只有m, b未知，因此可以看最一个m， b的二次方程，求Loss的问题就转变成了求极值问题。 这里不做详细说明。

另每个变量的偏导数为0， 求方程组的解。

求出m，b即可得到所要的直线。

梯度下降法

没有梯度下降就没有现在的深度学习。 最小二乘法可以一步到位，直接求出m，b。在大部分公式中是无法简单的直接计算的。而梯度下降通过一步一步的迭代，慢慢的去靠近那条最优