【从零开始学机器学习第 09 课】
摘要:以波士顿房价数据集为例,使用 kNN 模型解决回归问题——预测房价。
之前我们花了大量篇幅介绍使用 kNN 算法解决分类问题,其实 kNN 是少数机器学习算法中,既适合解决分类问题也适合解决回归问题的算法。
在 sklearn 中使用 KNeighborsClassifier
类解决分类,回归问题则可以调用 KNeighborsRegressor
类。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c7da1c029c06b85a59535859ea89cfa0.png)
先来回顾一下 kNN 是如何解决分类问题的。下图中,红绿色点表示两种类别,根据黄色点最近 K 个点的类别来评估其所属类别。假设 k 取 3 ,则黄色点大概率属于红色类别。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/8a6d8844ebba57ff8a7b5dc5ea4555c0.jpeg)
当要解决回归问题时,我们面对的问题不再是判断样本属于哪个类别,样本值也不是离散值而是连续的具体值。比如预测学生的成绩具体是多少分。
计算思路也很简单,主要分两步。第一步和分类算法一样,找到离待预测节点最近的 K 个点,第二步则是取这 K 个节点值的平均值作为待预测点的预测值。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e83fe8525c77593be69377c6b90f15f0.jpeg)
是不是很简单?
下面我们就通过一个简单的数据集来熟悉一下 kNN 回归模型。
训练集有 6 个红色样本点,每个样本点有 X Y 两个特征,点的标签值分别是 1-6。现在需要预测绿色样本点的标签值。假设 k 取 3,很容易就能得到左下角的三个红点是离绿色点最近的,则绿点的标签值等于(1+2+3)/3=2。当 k 取 5 时,绿色点的标签值等于(1+2+3+4+5)/5=3。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/601f62b4db2be4b79bcbafe8cd94bb9f.png)
编码实现如下:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/ff162be824500551254a56ef5c87d4c4.jpeg)
下面我们再用 kNN 的回归模型解决一个实际案例:波士顿房价。
波士顿房价是机器学习中很常用的一个解决回归问题的数据集。数据统计于 1978 年,包括 506个房价样本,每个样本包括波士顿不同郊区房屋的13 种特征信息,比如:住宅房间数、城镇教师和学生比例等。标签值则是每栋房子的房价(千美元)。所以这是一个小型数据集,有 506 * 14 维。
我们通过这几步来预测房价:
加载数据集并初步探索
划分训练集和测试集
对特征做均值方差归一化
建立 kNN 回归模型并预测
先加载数据集并做简单的初步探索。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/a438cd5756fbab30c3a2c26f293e9428.png)
每个特征的含义如下:
CRIM: 城镇人均犯罪率(%)
ZN: 住宅用地所占比例(%)
INDUS: 城镇中非住宅用地所占比例(%)
CHAS: 0-1分类变量,是否靠近Charles River,靠近1,否则0
NOX: 一氧化氮指数
RM: 每栋住宅的房间数
AGE: 1940 年以前建成的自住单位的比例(%)
DIS: 距离 5 个波士顿的就业中心的加权距离
RAD: 距离高速公路的便利指数
TAX: 每一万美元的不动产税率(%)
PTRATIO: 城镇中的教师学生比例(%)
B: 关于黑人比例的一个参数(%)
LSTAT: 地区中有多少房东属于低收入人群(%)
MEDV: 自住房屋房价中位数(也就是均价,单位千美元)
可以看到特征之间数值差异较大,所以最好先对数据做归一化再建立模型。
样本一共有 13 个特征,建立模型时可以纳入全部特征也可以只纳入部分,我们选择后者。使用 SelectKBest 方法可以筛选出和标签最相关的 K 个特征,这里选择和房价最相关的 3 个特征:
RM
PTRATIO
LSTAT
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/8f322c2b9ee6725c1e52e06598662b9a.jpeg)
特征选择好之后,接下来划分数据集并归一化,然后建模,代码如下:
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e6e19bb6b4b0c90ac920d7db589afedc.jpeg)
这样我们就计算出了房价预测值和相应的模型得分。
房价预测值和实际值见下图,可以看到预测效果总体还不错。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/2d98456c86b316ae1d7e63b66079b402.png)
模型得分这里使用了均方根误差(RMSE)和 R2_score 来判断。
上图中,这两个值分别为 4.58 和 0.74。
均方根误差表示模型的偏离程度,越接近 0 越好。此处 4.58 的含义就是说 68% 的预测房价值和真实房价(均值为 22.53)之间的差值在 4.58(一个标准差) 之间,也就是 68% 的房价位于 [18,27] 之间(单位千美元)。95% 的房价位于均值的两个标准差之间,也就是 [13.5,31.5]。
R2_score 表示模型拟合数据集的好坏,越接近1 表示拟合效果越好。
为了比较不同模型的均方根误差和 R2 值,我们还可以使用之前说的网格搜索方法进一步优化模型。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/d50b14bbcec809a93927d47abbcfebe0.jpeg)
可以看到均方根误差降低到了 4.35 ,R2 值提升到了 0.76,说明网格搜索建立的模型效果更好。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/cedc3420e73583cfcc8a92d5802edef5.png)
之后我们学习其他算法(比如线性回归)的时候还会再对这个数据集建立模型并计算得分。
本文的 jupyter notebook 代码,可以在公众号:「高级农民工」后台回复「kNN9」得到,加油!