机器学习KNN算法使用指南

KNN 算法简介

kNN(k-NearestNeighbor),也就是k最近邻算法。顾名思义,所谓K最近邻,就是k个最近的邻居的意思。也就是在数据集中,认为每个样本可以用离他最距离近的k个邻居来代表。–百度

该算法就是用来找数据点在该纬度的数据空间中,离哪一些点的样本更接近,通过相关特征就可以把这个数据点放入对应最近的样本中-- 个人理解

KNN 算法流程

通过理解算法思想,可以将其简化为“找邻居+投票”。K近邻法使用的模型,实际上是特征空间的划分。模型由三个基本要素决定:

距离度量
k值
分类决策规则
其中两个实例点之间的距离反映了相似程度。一般来说使用欧氏距离来计算。
在这里插入图片描述

梳理kNN算法流程如下:

计算测试对象到训练集中每个对象的距离
按照距离的远近排序
选取与当前测试对象最近的k的训练对象,作为该测试对象的邻居
统计这k个邻居的类别频率
k个邻居里频率最高的类别,即为测试对象的类别

KNN实现过程

通过对该数据点进行距离的计算,给定K的值可以来确定他和周围的多少个邻居进行对比,具体的实现代码不在赘述,个人认为我们应该了解这个算法模型的使用,了解其在sklearn包的中的具体使用方法,方便我们实现应用模型.

Sklearn

对于机器学习来说,其流程是:训练数据集 -> 机器学习算法 -fit-> 模型 输入样例 -> 模型 -predict-> 输出结果

我们之前说过,kNN算法没有模型,模型其实就是训练数据集,predict的过程就是求k近邻的过程。

from sklearn.neighbors import KNeighborsClassifier
#创建kNN_classifier实例
kNN_classifier = KNeighborsClassifier(n_neighbors=6)
#kNN_classifier做一遍fit(拟合)的过程,没有返回值,模型就存储在kNN_classifier实例中
kNN_classifier.fit(X_train, y_train)
#kNN进行预测predict,需要传入一个矩阵,而不能是一个数组。
#reshape()成一个二维数组,第一个参数是1表示只有一个数据,
#第二个参数-1,numpy自动决定第二维度有多少
y_predict = kNN_classifier.predict(x.reshape(1,-1))
y_predict
#输出:array([1])

#在kNN_classifier.fit(X_train, y_train)这行代码后其实会有一个输出:

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=6, p=2,
           weights='uniform')
#实际上是为了输出模型的相关参数

参数

class
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’, 
algorithm=’auto’, leaf_size=30, p=2, metric=’minkowski’, metric_params=None, 
n_jobs=None, **kwargs)

我们研究一下参数:

n_neighbors: int, 可选参数(默认为 5)。用于kneighbors查询的默认邻居的数量

weights(权重): str or callable(自定义类型), 可选参数(默认为 ‘uniform’)。用于预测的权重参数,可选参数如下:

uniform : 统一的权重. 在每一个邻居区域里的点的权重都是一样的。

distance : 权重点等于他们距离的倒数。
使用此函数,更近的邻居对于所预测的点的影响更大。

[callable] : 一个用户自定义的方法,此方法接收一个距离的数组,然后返回一个相同形状并且包含权重的数组。

algorithm(算法): {‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, 可选参数(默认为 ‘auto’)。计算最近邻居用的算法:

ball_tree 使用算法BallTree

kd_tree 使用算法KDTree

brute 使用暴力搜索

auto 会基于传入fit方法的内容,选择最合适的算法。
注意 : 如果传入fit方法的输入是稀疏的,将会重载参数设置,直接使用暴力搜索。

leaf_size(叶子数量): int, 可选参数(默认为 30)。传入BallTree或者KDTree算法的叶子数量。此参数会影响构建、查询BallTree或者KDTree的速度,以及存储BallTree或者KDTree所需要的内存大小。此可选参数根据是否是问题所需选择性使用。

p: integer, 可选参数(默认为 2)。用于Minkowski metric(闵可夫斯基空间)的超参数。p = 1, 相当于使用曼哈顿距离,p = 2, 相当于使用欧几里得距离],对于任何 p ,使用的是闵可夫斯基空间。

metric(矩阵): string or callable, 默认为 ‘minkowski’。用于树的距离矩阵。默认为闵可夫斯基空间,如果和p=2一块使用相当于使用标准欧几里得矩阵. 所有可用的矩阵列表请查询 DistanceMetric 的文档。

metric_params(矩阵参数): dict, 可选参数(默认为 None)。给矩阵方法使用的其他的关键词参数。

n_jobs: int, 可选参数(默认为 1)。用于搜索邻居的,可并行运行的任务数量。如果为-1, 任务数量设置为CPU核的数量。不会影响fit

在这里插入图片描述

总结

KNN算法是一种适合入门的简单机器学习算法,他更多的思路是基于数据,而不是基于模型算法,是一种 数据既是模型的算法,简单易学容易理解,非常适合新手入门,但是其难点在与多维数据空间中的数据距离问题的复杂性。

  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值