K 最近邻算法

算法原理

一个样本与数据集中的k个样本最相似，如果这k个样本中的大多数属于某一个类别，则该样本也属于这个类别。

K值选择

k 值对模型的预测有着直接的影响，如果 k 值过小，预测结果对邻近的实例点非常敏感。如果邻近的实例恰巧是噪声数据，预测就会出错。也就是说，k 值越小就意味着整个模型就变得越复杂，越容易发生过拟合。

相反，如果 k 值越大，优点是可以减少模型的预测误差，缺点是学习的近似误差会增大。会使得距离实例点较远的点也起作用，致使预测发生错误。同时，k 值的增大意味着模型变得越来越简单。如果 k=N，那么无论输入实例是什么，都将简单的把它预测为样本中最多的一类。这显然实不可取的。

在实际建模应用中，k 值一般取一个较小的数值，通常采用 cross-validation 的方法来选择最优的 k 值。

具体用法

分类

from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import make_blobs
# 画图工具
import matplotlib.pyplot as plt
import numpy as np


def knn_classification1():
    # 生成样本数为 300，分类为 2 的数据集
    data = make_blobs(n_samples=300, centers=2, random_state=8)
    X, y = data
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.get_cmap(), edgecolors='k')
    plt.show()

    clf = KNeighborsClassifier()
    clf.fit(X, y)

    # 下面的代码用于画图
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, .02), np.arange(y_min, y_max, .02))
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    plt.pcolormesh(xx, yy, Z)
    plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.get_cmap(), edgecolors='k')
    plt.xlim(xx.min(), xx.max())
    plt.ylim(yy.min(), yy.max())
    plt.title("classification_knn")
    plt.scatter(6.75, 4.81, marker='*', c='red', s=300)
    plt.show()

运行结果

数据展示:

分类结果:

回归

from sklearn.datasets import make_regression
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsRegressor
import numpy as np


def knn_regression1():
    X, y = make_regression(n_features=1, n_informative=1, noise=50, random_state=8)
    plt.scatter(X, y, c='orange', edgecolors='k')
    plt.show()

    reg = KNeighborsRegressor(n_neighbors=2)
    # 拟合数据
    reg.fit(X, y)
    # 预测结果可视化
    z = np.linspace(-3, 3, 200).reshape(-1, 1)
    plt.scatter(X, y, c='orange', edgecolors='k')
    plt.plot(z, reg.predict(z), c='k', linewidth=3)
    plt.title('knn_regression')
    plt.show()
    print('-----------')
    print(reg.score(X, y))
    print('-----------')

运行结果

数据展示:

拟合结果: