Python实现kNN回归算法

一、想法

    给定一个“点”,kNN会求得这个“点”与其他所有已知结果的“点”的距离,再取前k个最近的“点”的距离进行求平均,将求得的平均值作为给定“点”的预测结果。


二、实现代码

加载所需的包:

import numpy as np

#用于显示进度

from tqdm import tqdm

#将数据x和y进行划分(划分成train和test)

#如需对数据进行标准化,可使用下述函数

def normData(dataSet):

    maxVals = dataSet.max(axis=0)

    minVals = dataSet.min(axis=0)

    ranges = maxVals - minVals

    retData = (dataSet - minVals) / ranges

    return retData

#单个样本进行预测

def kNN(dataSet, blowers, testData, k):

    distSquareMat = (dataSet - testData) ** 2 

    distSquareSums = distSquareMat.sum(axis=1) 

    distances = distSquareSums ** 0.5

    sortedIndices = distances.argsort() 

    indices = sortedIndices[:k] 

    blowerList = [] 

    for i in indices:

        blower = blowers[i]

        blowerList.append(blower) 

    s = 0

    for j in blowerList:

        s += j

    result = s/len(blowerList)

    return result 

#多个样本进行预测(testData为多元数组,blowers为一元数组,dataSet为多元数组)

def predict(dataSet, blowers, testData, k):

    predict_result = []

    for i in range(len(testData)):

        result = kNN(dataSet, blowers, testData[i], k)

        predict_result.append(result)

    predict_result = np.array(predict_result)

    return predict_result


模型的评估(此处采用r2作为评价指标)

r2_list = []

for i in tqdm(range(15)):#此处的15可自由设定

    y_pred = predict(x_train_norm, y_train, x_test_norm, k)

    r2 = r2_score(y_test, y_pred)

    r2_list.append(r2)


三、亦可直接使用 from sklearn.neighbors import KNeighborsRegressor来实现

实现方式加载上述模块即可

KNeighborsRegressor.fit(X=train_x,y=train_y)

参数说明:

fit(self, X, y)
    Fit the model using X as training data and y as target values
    
    Parameters
    ----------
    X : {array-like, sparse matrix, BallTree, KDTree}
        Training data. If array or matrix, shape [n_samples, n_features],
        or [n_samples, n_samples] if metric='precomputed'.
    
    y : {array-like, sparse matrix}
        Target values, array of float values, shape = [n_samples]
         or [n_samples, n_outputs]

注:python-version 

可关注本人CSDN账号共同学习:Andrew_jdw

才疏学浅,有不足之处还请多多指教

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值