机器学习线性回归案例讲解_机器学习之线性回归基础概念（1）

理论基础

线性回归可以说是机器学习最重要的理论之一，它广泛被应用于各行各业，如金融经济、生物医学、工业制造等。让我们先从一个简单的回归模型说起。所谓最简单的回归模型，指的就是有两个变量的线性模型，它们分别为因变量

和自变量

。以上是统计学上的叫法，在机器学习领域则称

为特征，而

为标签。用公式来表达就是：

，其中，

为斜率，

也称为变化率，表示的是

根据

的方向和绝对值随

进行变化；

为截距，当

为0时，

；

为估计误差，这是因为我们的数据大多数情况下不是完全线性的，因此不能仅仅用

去表示。下面让我们以一个金融经济的例子为帮助大家理解线性回归。

具体案例

如果我们想研究人们的消费情况，那么消费额就是因变量。根据经济理论，人们的收入是关键影响因素。当然，影响消费额的因素有很多，这里我们为了方便，仅考虑收入这个因素。因此，我们的模型就可以写成：

。表1为消费与收入的样本数据。

表1. 消费与收入样本数据表

用散点图绘制如图1所示，这里需要指出的是，通常情况下，我们并不知道数据之间的变量关系是否为线性，此时最好的办法就是通过观察散点图的方式进行判断。

很容易看出，

和

的关系近似线性，因此可以使用上面的线性模型进行建模。这里我们将采用sklearn，基于Python语言的机器学习工具来进行数据分析。使用很方便，只需要调用sklearn的linear_model即可进行训练并且估计模型参数，最终的结果如图2所示。

可以看到，确实是可以通过一条直线

来拟合数据点，其中，截距

为614.403，说明当收入为0时，此人至少需要靠借614.403元才能过活（满足其消费需求），

为0.949，表明人均的消费是收入的94.9%，换句话说就是，平均每挣一百元，应该花掉94.9元。那么图中的均方差和决定系数又是什么呢？均方差，Mean Square Error (MSE)，是我们线性模型的衡量指标，

，用来表示数据拟合值和真实值之间的均方误差，这个误差越小越好。而决定系数coefficient of determination,

则表示已被模型所解释的支出方差占因变量的真实方差的比例，该比例越接近于1越好，说明模型的解释力越强。

更多最新文章请搜索关注微信公众号“阿艾正传”