Kernel Regression

在prml这本书的第六章kernel methods提到了一种非参数回归的方法Kernel regression，这种模型是基于（特征x之间）特征越相似的则其所对应的y值也应该很相似，只不过他引进了kernel函数来衡量特征之间的相似度。

下面是python代码实现：

import matplotlib.pyplot as plt
import numpy as np
from scipy.spatial.distance import  pdist,squareform,cdist
class KernelRegression:
    def __init__(self,bandwidth):
        self.bandwidth=bandwidth#带宽这是主要的调节参数
    def fit(self,X,Y):
        self.X=X
        self.Y=Y
        return self
    def predict(self,data):
        size=self.X.shape[0]
        #计算测试数据和原始数据的距离
        distance=cdist(self.X,data)**2
        #将距离变换成kernel相似度
        kernel_dist=self.rbf_kernel(distance)
        sum=np.sum(kernel_dist,axis=1).reshape((size,1))
        weight=kernel_dist/sum
        #得到预测值，其实就是加权和，距离近的权重大，距离远的权重小
        pred=weight.T.dot(self.Y)
        return pred
    def rbf_kernel(self,X):
        return np.exp(-X/(self.bandwidth**2))
#训练数据
X=np.linspace(0,10,150).reshape((150,1))
#测试数据
data=np.linspace(0,10,150).reshape((150,1))
#真实值，可以试一下后面的sin函数
Y=np.cos(X)#Y=np.sin(X)
noise=np.random.normal(0,1,Y.shape)
#带噪声的数据，可以自己调节noise的大小
Y_noise=Y+0.4*noise
KG=KernelRegression(0.53)
KG.fit(X,Y_noise)
pred=KG.predict(data)
plt.scatter(X,Y_noise)
plt.plot(X,Y,label="True")
plt.plot(data,pred,label="Predict")
plt.legend()
plt.show()

如下图中，散点为带有噪声的数据 ，