python机器学习-k近邻（KNN）算法实例

机器学习-k近邻（KNN）
本篇主要是自己复习和总结机器学习算法中最基础入门的——k近邻（KNN）算法，内容由网上百度与摘抄唐宇迪老师的讲义。

k近邻介绍

——K最近邻(k-Nearest Neighbor，KNN)，k近邻算法可以应用于分类场景与回归场景，是一个理论上比较不成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
——用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

: 看图举例：

图形中有2种已知的图形，分别是蓝色的方块和红色的三角，绿色的未知图形。通过K近邻算法去判断未知的绿色图形是什么，取决于它周围距离最近的图形。
比如把K近邻的近邻参数设置成3(图中实线圆圈)，那么未知的绿色图形就是三角。如果近邻参数设置成5(图中虚线圆圈)，那么未知的绿色图形就是方块。

所以在K近邻算法中，设置近邻参数是会决定最后预测的结果准确性，那么怎么设置参数是多少呢？这个后面会给大家再进行介绍，本篇K近邻算法的实现主要是通过经典的机器学习库（sklearn）来完成。

K近邻在sklearn里面的API为sklearn.neighbors，在该模块下由细分了13个小的模块。本文主要使用neighbors.KNeighborsRegressor基于k-最近邻居的回归来进行说明官方教程链接

类型	描述
neighbors.BallTree	BallTree用于快速广义N点问题
neighbors.DistanceMetric	DistanceMetric类
neighbors.KDTree	KDTree用于快速广义N点问题
neighbors.KernelDensity([bandwidth, …])	核密度估计
neighbors.KNeighborsClassifier([…])	实现k近邻的分类器投票
neighbors.KNeighborsRegressor([n_neighbors, …])	基于k-最近邻居的回归
neighbors.LocalOutlierFactor([n_neighbors, …])	使用局部异常因子（LOF）的无监督异常值检测
neighbors.RadiusNeighborsClassifier([…])	在给定半径内的邻居之间实施投票的分类器
neighbors.RadiusNeighborsRegressor([radius, …])	基于固定半径内的邻居的回归
neighbors.NearestCentroid([metric, …])	最近的质心分类器
neighbors.NearestNeighbors([n_neighbors, …])	用于实现邻居搜索的无监督学习者
neighbors.kneighbors_graph(X, n_neighbors[, …])	计算X中点的k-邻居的（加权）图
neighbors.radius_neighbors_graph(X, radius)	计算X中各点的邻居（加权）图

k近邻参数

sklearn.neighbors.KNeighborsRegressor默认参数：

sklearn.neighbors.KNeighborsRegressor（n_neighbors = 5，weights =‘uniform’，algorithm =‘auto’，leaf_size = 30，p = 2，metric =‘minkowski’，metric_params = None，n_jobs = 1，** kwargs ）

参数说明：
n_neighbors：int, optional (default = 5)

使用默认的邻居数量kneighbors查询，默认是5

weights : str or callable

权函数用于预测,可能的值
‘uniform’ :统一的重量。权重分在每个社区都是一样的
‘distance’ :重量分距离的倒数。在这种情况下,接近邻居查询的点会有一个