KNN算法

KNN算法

KNN概念

KNN（k-nearest neighbors）算法也叫 K近邻算法，是机器学习中相对简单好理解的算法。它是一种很常用的分类算法，也可以应用于回归计算。

KNN‘算法非常直观：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的 k 个实例，这 k 个实例的多数属于某个类，就把该实例分为这个类。

KNN的三个基本要素：

• 距离度量
• k的取值
• 分类决策规则

KNN被称为惰性算法，因为它是基于实例的，算法没有显式地学习模型，而是记忆训练实例。

k 近邻法的特殊情况是 k=1 的情况，称为最近邻算法。最近邻法将训练数据集中与 x 最邻近的点的类作为 x 的类。

KNN算法计算过程

对未知类型属性的数据集中的每个点依次执行以下操作：

1. 计算已知类别数据集中的点与当前点之间的距离
2. 按照距离递增次序排序
3. 选取与当前点距离最小的k个点
4. 确定前k个点所在类别的出现频率
5. 返回前k个点出现频率最高的类别作为当前点的预测分类

算法在寻找 k 个最近点时，通常采用暴力搜索的思想。当然，我们也可以采用其他的算法来寻找最近的 k 个点，如：BallTree、KDTree 等。

KNeighborsClassifier

sklearn.neighbors.KNeighborsClassifier

官方API：https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html

class sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’, 
                                             algorithm=’auto’, leaf_size=30, p=2, 
                                             metric=’minkowski’,metric_params=None,
                                             n_jobs=None, **kwargs)[source]

参数解读：

• n_neighbors： 选择最邻近点的数目k
• weights： 邻近点的计算权重值，uniform 代表各个点权重值相等
• algorithm： 寻找最邻近点使用的算法
• leaf_size： 传递给 BallTree 或 kDTree 的叶子大小，这会影响构造和查询的速度，以及存储树所需的内存
• p： Minkowski 度量的指数参数。p = 1 代表使用曼哈顿距离，p = 2 代表使用欧几里得距离，p=∞代表各个坐标距离的最大值
• metric： 距离度量，点之间距离的计算方法。
• metric_params： 额外的关键字度量函数。
• n_jobs： 为邻近点搜索运行的并行作业数。

K的取值并不容易确定，很大程度上取决于你的实际情况

• k值小意味着噪声会对结果产生较大的影响
• k值大则会使计算成本变高

有时候，需要遍历所有可能的 k 值，再结合实际来进行选取。

上机实例

用 KNN 对鸢尾花进行简单分类

# KNN-鸢尾花案例

import numpy as np
import matplotlib.pyplot as plt
# 导入KNN分类器
from sklearn.neighbors import KNeighborsClassifier
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载并划分数据集
iris = datasets.load_iris()
x = iris['data']
y = iris['target']
# print(x.shape, y.shape)
# 8:2划分训练集和测试集合
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2)
# print(x_train.shape, x_test.shape, y_train.shape, y_test.shape)

# 使用KNN分类器进行模型训练
# n_neighbors： 选择最邻近点的数目k，一般为5
# metric： 距离度量，点之间距离的计算方法
# p： Minkowski度量的指数参数。p = 1 代表使用曼哈顿距离，p = 2 代表使用欧几里得距离
clf = KNeighborsClassifier(n_neighbors=5, p=2, metric='minkowski')
# 使用X作为训练数据，y作为目标值（类似于标签）来拟合模型
clf.fit(x_train, y_train)

# 模型预测，用准确率做指标
clf_predict = clf.predict(x_test)
result = accuracy_score(y_test, clf_predict)
print("准确率为", result)