机器学习KNN算法使用指南

KNN 算法简介

kNN(k-NearestNeighbor)，也就是k最近邻算法。顾名思义，所谓K最近邻，就是k个最近的邻居的意思。也就是在数据集中，认为每个样本可以用离他最距离近的k个邻居来代表。–百度

该算法就是用来找数据点在该纬度的数据空间中，离哪一些点的样本更接近，通过相关特征就可以把这个数据点放入对应最近的样本中-- 个人理解

KNN 算法流程

通过理解算法思想，可以将其简化为“找邻居+投票”。K近邻法使用的模型，实际上是特征空间的划分。模型由三个基本要素决定：

距离度量
k值
分类决策规则
其中两个实例点之间的距离反映了相似程度。一般来说使用欧氏距离来计算。

梳理kNN算法流程如下：

计算测试对象到训练集中每个对象的距离
按照距离的远近排序
选取与当前测试对象最近的k的训练对象，作为该测试对象的邻居
统计这k个邻居的类别频率
k个邻居里频率最高的类别，即为测试对象的类别

KNN实现过程

通过对该数据点进行距离的计算，给定K的值可以来确定他和周围的多少个邻居进行对比，具体的实现代码不在赘述，个人认为我们应该了解这个算法模型的使用，了解其在sklearn包的中的具体使用方法，方便我们实现应用模型.

Sklearn

对于机器学习来说，其流程是：训练数据集 -> 机器学习算法 -fit-> 模型 输入样例 -> 模型 -predict-> 输出结果

我们之前说过，kNN算法没有模型，模型其实就是训练数据集，predict的过程就是求k近邻的过程。

from sklearn.neighbors import KNeighborsClassifier
#创建kNN_classifier实例
kNN_classifier = KNeighborsClassifier(n_neighbors=6)
#kNN_classifier做一遍fit(拟合)的过程，没有返回值，模型就存储在kNN_classifier实例中
kNN_classifier.fit(X_train, y_train)
#kNN进行预测predict，需要传入一个矩阵，而不能是一个数组。
#reshape()成一个二维数组，第一个参数是1表示只有一个数据，
#第二个参数-1，numpy自动决定第二维度有多少
y_predict = kNN_classifier.predict(x.reshape(1,-1))
y_predict
#输出：array([1])

#在kNN_classifier.fit(X_train, y_train)这行代码后其实会有一个输出：

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=6, p=2,
           weights='uniform')
#实际上是为了输出模型的相关参数

参数

class
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’, 
algorithm=’auto’, leaf_size=30, p=2, metric=’minkowski’, metric_params=None, 
n_jobs=None, **kwargs)

我们研究一下参数：

n_neighbors: int, 可选参数(默认为 5)。用于kneighbors查询的默认邻居的数量

weights（权重）: str or callable(自定义类型), 可选参数(默认为 ‘uniform’)。用于预测的权重参数，可选参数如下：

uniform : 统一的权重. 在每一个邻居区域里的点的权重都是一样的。

distance : 权重点等于他们距离的倒数。
使用此函数，更近的邻居对于所预测的点的影响更大。

[callable] : 一个用户自定义的方法，此方法接收一个距离的数组，然后返回一个相同形状并且包含权重的数组。

algorithm（算法）: {‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, 可选参数（默认为 ‘auto’）。计算最近邻居用的算法：

ball_tree 使用算法BallTree

kd_tree 使用算法KDTree

brute 使用暴力搜索

auto 会基于传入fit方法的内容，选择最合适的算法。
注意 : 如果传入fit方法的输入是稀疏的，将会重载参数设置，直接使用暴力搜索。

leaf_size（叶子数量）: int, 可选参数(默认为 30)。传入BallTree或者KDTree算法的叶子数量。此参数会影响构建、查询BallTree或者KDTree的速度，以及存储BallTree或者KDTree所需要的内存大小。此可选参数根据是否是问题所需选择性使用。

p: integer, 可选参数(默认为 2)。用于Minkowski metric（闵可夫斯基空间）的超参数。p = 1, 相当于使用曼哈顿距离，p = 2, 相当于使用欧几里得距离]，对于任何 p ，使用的是闵可夫斯基空间。

metric（矩阵）: string or callable, 默认为 ‘minkowski’。用于树的距离矩阵。默认为闵可夫斯基空间，如果和p=2一块使用相当于使用标准欧几里得矩阵. 所有可用的矩阵列表请查询 DistanceMetric 的文档。

metric_params（矩阵参数）: dict, 可选参数(默认为 None)。给矩阵方法使用的其他的关键词参数。

n_jobs: int, 可选参数(默认为 1)。用于搜索邻居的，可并行运行的任务数量。如果为-1, 任务数量设置为CPU核的数量。不会影响fit

总结

KNN算法是一种适合入门的简单机器学习算法，他更多的思路是基于数据，而不是基于模型算法，是一种 数据既是模型的算法，简单易学容易理解，非常适合新手入门，但是其难点在与多维数据空间中的数据距离问题的复杂性。