在prml这本书的第六章kernel methods提到了一种非参数回归的方法Kernel regression,这种模型是基于(特征x之间)特征越相似的则其所对应的y值也应该很相似,只不过他引进了kernel函数来衡量特征之间的相似度。
下面是python代码实现:
import matplotlib.pyplot as plt
import numpy as np
from scipy.spatial.distance import pdist,squareform,cdist
class KernelRegression:
def __init__(self,bandwidth):
self.bandwidth=bandwidth#带宽这是主要的调节参数
def fit(self,X,Y):
self.X=X
self.Y=Y
return self
def predict(self,data):
size=self.X.shape[0]
#计算测试数据和原始数据的距离
distance=cdist(self.X,data)**2
#将距离变换成kernel相似度
kernel_dist=self.rbf_kernel(distance)
sum=np.sum(kernel_dist,axis=1).reshape((size,1))
weight=kernel_dist/sum
#得到预测值,其实就是加权和,距离近的权重大,距离远的权重小
pred=weight.T.dot(self.Y)
return pred
def rbf_kernel(self,X):
return np.exp(-X/(self.bandwidth**2))
#训练数据
X=np.linspace(0,10,150).reshape((150,1))
#测试数据
data=np.linspace(0,10,150).reshape((150,1))
#真实值,可以试一下后面的sin函数
Y=np.cos(X)#Y=np.sin(X)
noise=np.random.normal(0,1,Y.shape)
#带噪声的数据,可以自己调节noise的大小
Y_noise=Y+0.4*noise
KG=KernelRegression(0.53)
KG.fit(X,Y_noise)
pred=KG.predict(data)
plt.scatter(X,Y_noise)
plt.plot(X,Y,label="True")
plt.plot(data,pred,label="Predict")
plt.legend()
plt.show()
如下图中,散点为带有噪声的数据 ,