线性回归

一．二维空间线性回归

其实，我认为在二维空间内线性回归很简单，确实也很简单。它就是寻找一条最优直线来对数据进行拟合。但我们怎么知道找到的直线是否为最优的呢？根据最小二乘原理，我们确定了这样一条准则：寻找一条直线，使得函数值与模型预测值之差的平方和最小。这也是我们所说的损失函数的原型。用数学模型表达的话就是

由最小二乘原理，我们可知这样确定的直线是唯一的。

我们有了数学模型，那么我们如何利用计算机帮助我们求解最优模型参数呢？在这，不得不提到机器学习中求解最优值问题最常用的一种方法：梯度下降法。

我们在高等数学中都接触过梯度的概念，知道“函数沿着梯度方向变化最快”。当函数为凸函数时，其曲线图如图1-2所示。

达到全局最优，即求得最小损失函数值。

  根据上述原理，我们可以线性回归做一个总结：

（1）  首先列出目标函数：

(2)利用梯度下降法

二．N维空间线性回归

  但是在实际应用中，我们遇到的大部分回归问题在二维空间往往不能用直线来拟合，需要用曲线来实现，甚至在二维空间我们无法得到问题的回归解。这时候，一种办法就是增加特征变量维度，在N维空间对数据进行线性拟合。

那么我们如何对这些数据进行拟合呢？在机器学习中，其解决方式是定义一个多维向量

通过多维向量来实现对（二维内）非线性数据的拟合。但这带来的问题是向量x中的n值如何选择呢？你如何能确保找到的n值是合理的呢（数据既不会欠拟合，也不会过拟合）？

这时我们引入另一概念：正则化项，我们通过对引入的系数进行惩罚，使得模型不至于太过复杂，从而避免过拟合现象。

从整个浅层机器学习来说，（二维或N维内）线性回归是很简单的。你只要把握住了它的最优函数模型以及它的求解方法：梯度下降法就行啦。