Python实现kNN回归算法

一、想法：

    给定一个“点”，kNN会求得这个“点”与其他所有已知结果的“点”的距离，再取前k个最近的“点”的距离进行求平均，将求得的平均值作为给定“点”的预测结果。

---

二、实现代码

加载所需的包：

import numpy as np

#用于显示进度

from tqdm import tqdm

#将数据x和y进行划分（划分成train和test）

#如需对数据进行标准化，可使用下述函数

def normData(dataSet):

    maxVals = dataSet.max(axis=0)

    minVals = dataSet.min(axis=0)

    ranges = maxVals - minVals

    retData = (dataSet - minVals) / ranges

    return retData

#单个样本进行预测

def kNN(dataSet, blowers, testData, k):

    distSquareMat = (dataSet - testData) ** 2 

    distSquareSums = distSquareMat.sum(axis=1) 

    distances = distSquareSums ** 0.5

    sortedIndices = distances.argsort() 

    indices = sortedIndices[:k] 

    blowerList = [] 

    for i in indices:

        blower = blowers[i]

        blowerList.append(blower) 

    s = 0

    for j in blowerList:

        s += j

    result = s/len(blowerList)

    return result 

#多个样本进行预测（testData为多元数组，blowers为一元数组，dataSet为多元数组）

def predict(dataSet, blowers, testData, k):

    predict_result = []

    for i in range(len(testData)):

        result = kNN(dataSet, blowers, testData[i], k)

        predict_result.append(result)

    predict_result = np.array(predict_result)

    return predict_result

---

模型的评估（此处采用r2作为评价指标）

r2_list = []

for i in tqdm(range(15)):#此处的15可自由设定

    y_pred = predict(x_train_norm, y_train, x_test_norm, k)

    r2 = r2_score(y_test, y_pred)

    r2_list.append(r2)

---

三、亦可直接使用 from sklearn.neighbors import KNeighborsRegressor来实现

实现方式加载上述模块即可

KNeighborsRegressor.fit(X=train_x,y=train_y)

参数说明：

fit(self, X, y)
    Fit the model using X as training data and y as target values
    
    Parameters
    ----------
    X : {array-like, sparse matrix, BallTree, KDTree}
        Training data. If array or matrix, shape [n_samples, n_features],
        or [n_samples, n_samples] if metric='precomputed'.
    
    y : {array-like, sparse matrix}
        Target values, array of float values, shape = [n_samples]
         or [n_samples, n_outputs]

注：python-version 

可关注本人CSDN账号共同学习：Andrew_jdw

才疏学浅，有不足之处还请多多指教