python-机器学习-波士顿房价回归分析

姓李与理性不可兼得

已于 2023-03-25 23:26:19 修改

阅读量5.8k

点赞数 8

文章标签：机器学习回归人工智能 python

于 2023-03-25 12:08:11 首次发布

本文链接：https://blog.csdn.net/weixin_59938092/article/details/129746003

版权

一、目的

以波士顿房价数据集为对象，理解数据和认识数据，掌握梯度下降法和回归分析的初步方法，掌握模型正则化的一般方法，对回归分析的结果解读。

二、背景知识与要求

1、背景知识

波士顿房价数据集是20世纪70年代中期波士顿郊区房价的中位数，统计了当时城市的13个指标与房价的数据，试图能找到那些指标与房价的关系。

在数据集中包含506组数据，本文将前406个作为训练和验证集，剩下的100组数据作为测试集。数据在python的sklearn库的datasets中可以load_boston直接调用，也可以在下面的地址中下载。

数据集下载地址：https://archive.ics.uci.edu/ml/machine-learning-databases/housing/。

数据集中各特征的含义如下：

我们所说的回归一般指的是线性回归(Linear regression)。回归能用来做什么呢？我们做回归是想找到变量与变量之间的关系，比如销售量与运输距离的关系，或者次品数量与机床使用时长之间的关系，或者寻找名人的离婚率与年龄之间的关系。

回归的目的就是预测数值型的目标值，假如你要预测一台汽车功率的大小，可能会写出如下方程：

$P=0.0015*S-0.99*R$

其中，P代表功率，S代表年薪，R代表你收听电台的时长，这就是回归方程（regression equation），其中0.0015和-0.99称为回归系数（regression weights）或者说每个自变量影响因变量的权重，当然也有非线性回归，比如认为是S与R的乘积，我们这里所说的回归是线性回归，线性回归的一般方程如下，当然也包括Y的初始值（截距），如果没有即为0：

$Y=WX^{T}+C$

输入的数据存放在矩阵X中，回归系数存放在向量W中，那么我们所要做的就是求出W，怎么求出W呢？最常用的就是找出误差最小下的W，这里所说的误差指的是预测值与真实值之间的误差，如果二者相减所得的值再求和就会出现正值与负值相抵消的情况，所以采用平方误差，即：

$\sum_{i=1}^{m}(y_{i}-wx_{i}^{T})^{2}$

我们所要做的就是使其最小，也即找到最优的w估计值，这是统计学中最常见的问题，有很多方法如最小二乘估计或者最优化方法中的梯度下降法等，本文着重于梯度下降法，其他的这里就不一一列举。

回归的一般步骤如下：

（1）收集数据：采用任意方法

（2）准备数据：回归需要的是数值型数据，标称型数据需要转换成二值型数据，如果有多个类别可以考虑采用独热编码（one-hot)

（3）分析数据：如果可以的话，绘出数据可视化的二维图像有助于对数据做出分析和理解与前后对比

（4）训练算法：找到回归系数，可以运用多种方法。

（5）测试算法：采用决定系数 $R^{2}$ 或者预测值与数据的拟合度作为定量评判的标准

（6）使用算法：使用建立好的回归方程对于输入的变量进行预测，给出一个预测值。