算法原理
一个样本与数据集中的k个样本最相似,如果这k个样本中的大多数属于某一个类别,则该样本也属于这个类别。
K值选择
k 值对模型的预测有着直接的影响,如果 k 值过小,预测结果对邻近的实例点非常敏感。如果邻近的实例恰巧是噪声数据,预测就会出错。也就是说,k 值越小就意味着整个模型就变得越复杂,越容易发生过拟合。
相反,如果 k 值越大,优点是可以减少模型的预测误差,缺点是学习的近似误差会增大。会使得距离实例点较远的点也起作用,致使预测发生错误。同时,k 值的增大意味着模型变得越来越简单。如果 k=N,那么无论输入实例是什么,都将简单的把它预测为样本中最多的一类。这显然实不可取的。
在实际建模应用中,k 值一般取一个较小的数值,通常采用 cross-validation 的方法来选择最优的 k 值。
具体用法
分类
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import make_blobs
# 画图工具
import matplotlib.pyplot as plt
import numpy as np
def knn_classification1():
# 生成样本数为 300,分类为 2 的数据集
data = make_blobs(n_samples=300, centers=2, random_state=8)
X, y = data
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.get_cmap(), edgecolors='k')
plt.show()
clf = KNeighborsClassifier()
clf.fit(X, y)
# 下面的代码用于画图
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, .02), np.arange(y_min, y_max, .02))
Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.pcolormesh(xx, yy, Z)
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.get_cmap(), edgecolors='k')
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.title("classification_knn")
plt.scatter(6.75, 4.81, marker='*', c='red', s=300)
plt.show()
运行结果
数据展示:
分类结果:
回归
from sklearn.datasets import make_regression
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsRegressor
import numpy as np
def knn_regression1():
X, y = make_regression(n_features=1, n_informative=1, noise=50, random_state=8)
plt.scatter(X, y, c='orange', edgecolors='k')
plt.show()
reg = KNeighborsRegressor(n_neighbors=2)
# 拟合数据
reg.fit(X, y)
# 预测结果可视化
z = np.linspace(-3, 3, 200).reshape(-1, 1)
plt.scatter(X, y, c='orange', edgecolors='k')
plt.plot(z, reg.predict(z), c='k', linewidth=3)
plt.title('knn_regression')
plt.show()
print('-----------')
print(reg.score(X, y))
print('-----------')
运行结果
数据展示:
拟合结果: