KNN算法简要介绍及算法流程

本文主要是介绍knn算法，里面有自己的见解同时也参考了资料和相关文章，有错误之处还请指出。

算法简介

邻近算法，又叫K近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

1. kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
2. 该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
3. kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。

算法思路

如果一个样本在特征空间中的 k 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。通常 K 的取值比较小，不会超过20。

1. 计算测试数据与各个训练数据之间的距离
2. 按照升序（从小到大）对距离（欧氏距离）进行排序
3. 选取距离最小的前k个点
4. 确定前k个点所在类别出现的频率
5. 返回前k个点中出现频率最高的类别作为测试数据的分类

关于k值的选取

临近数，即在预测目标点时取几个临近的点来预测，K值得选取非常重要。

1. 当K的取值过小时，一旦有噪声得成分存在们将会对预测产生比较大影响，例如取K值为1时，一旦最近的一个点是噪声，那么就会出现偏差，K值的减小就意味着整体模型变得复杂，容易发生过拟合。
2. 如果K的值取的过大时，就相当于用较大邻域中的训练实例进行预测，学习的近似误差会增大。这时与输入目标点较远实例也会对预测起作用，使预测发生错误。K值的增大就意味着整体的模型变得简单。
3. K的取值尽量要取奇数，以保证在计算结果最后会产生一个较多的类别，如果取偶数可能会产生相等的情况，不利于预测。
4. 常用的方法是从k=1开始，估计分类器的误差率。重复该过程，每次K增值1，允许增加一个近邻，直到产生最小误差率的K。
   一般k的取值不超过20，上限是n的开方，随着数据集的增大，K的值也 要增大。

代码示例

读取文件，并对数据进行简单处理

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文
plt.rcParams['axes.unicode_minus']=False  #用来正常显示负号

#读取文件
data = np.genfromtxt('datingTestSet.txt',delimiter = '\t',dtype=str)

#将一个array结构转换成dataframe结构，设置columns列名
data_df = pd.DataFrame(data,columns = ['飞行里程数','玩游戏时间比','每周冰淇淋公升数','吸引力程度'])

#特征数据列名
features = ['飞行里程数','玩游戏时间比','每周冰淇淋公升数']
#将特征数据转换为float类型
data_df[features]= data_df[features].astype(float)

#利用series.map方法将标签数据进行替换表示（使用1，0，-1表示）
dic = {
   'largeDoses':1,'smallDoses':0,'didntLike':-1}
data_df['吸引力程度'] = data_df['吸引力程度'].map(dic)

对数据进行归一化、标准化处理

#导入标准化
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import StandardScaler