K近邻回归

K近邻回归模型不需要训练参数，只需要借助周围K个最近训练样本的目标值，对待测试样本的回归值进行决策。由此就衍生出衡量待测样本回归值的不同方式，即普通的算术平均算法和考虑距离差异的加权平均。下面不具体介绍详细的算法，而是采用一个对波士顿房价进行预测的案例来使用这两种模型，并对两种模型的性能进行比较。

语言是Python3.6，集成环境是Anaconda3。

1、源代码

#导入数据
from sklearn.datasets import load_boston
boston=load_boston()
print(boston.DESCR)

from sklearn.cross_validation import train_test_split
import numpy as np
X=boston.data
y=boston.target

X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=33,test_size=0.25)
#分析回归目标值的差异
print('max:',np.max(boston.target),'\tmin:',np.min(boston.target),'\taverage:',np.mean(boston.target))

from sklearn.preprocessing import StandardScaler

ss_X=StandardScaler()
ss_y=StandardScaler()

#标准化处理
X_train=ss_X.fit_transform(X_train)
X_test=ss_X.fit_transform(X_test)
y_train=ss_y.fit_transform(y_train)
y_test=ss_y.fit_transform(y_test)


#从sklearn.neighbors导入KNeighborRegressor
from sklearn.neighbors import KNeighborsRegressor

#采用平均回归的方式配置K近邻回归器
uni_knr=KNeighborsRegressor(weights='uniform')
uni_knr.fit(X_train,y_train)
uni_knr_y_predict=uni_knr.predict(X_test)

#采用距离加权回归的方式配置K近邻回归器
dis_knr=KNeighborsRegressor(weights='distance')
dis_knr.fit(X_train,y_train)
dis_knr_y_predict=dis_knr.predict(X_test)

#对两种配置方式进行测评
print('R-squared value of uniform-weighted KNeighborRegrssion:',uni_knr.score(X_test,y_test))
print('R-squared value of distance-weighted KNeighborRegrssion:',dis_knr.score(X_test,y_test))

2、结果分析

运行结果：

R-squared value of uniform-weighted KNeighborRegrssion: 0.651600223378
R-squared value of distance-weighted KNeighborRegrssion: 0.672625483305

从运行结果可以知道：K近邻加权平均的回归策略可以获得较高的模型性能。