iris数据集_数据挖掘十大算法——KNN

十大算法 —— KNN

1、基本介绍

（1）概述：KNN算法是一种简单实用的分类算法，其通过测量不同样本之间的距离，然后根据距离选择最近的K个邻居来进行分类。算法核心思想是如果一个样本在特征空间中的K个最临近的样本中的大多数属于某一个类别，则该样本也属于这个类别。整个分类过程包括三步，一是算距离来判断哪些是邻居；二是求近邻，即选择K值；三是做决策，进行分类。KNN算法是易于理解和实现的分类技术，且在许多情况下表现良好。KNN算法特别适合于多模式类及对象拥有多类别标签的情况。

（2）优点

[1] 简单好用，容易理解，精度高，理论成熟，既可以用于分类，也可以用于回归；

[2] 可用于数值型数据和离散型数据；

[3] 训练时间复杂度为O (n)；

[4] 对异常值不敏感。

（3）缺点

[1] 计算复杂度高，空间复杂度高；

[2] 样本不平衡问题下误差较大；

[3] 一般数值很大时计算量太大，但是单个样本又不能太少，否则容易发生误分类；

[4] 无法给出数据的内在含义。

（4）算法的改进方向：分类效率的提高和分类效果的改善。

2、算法流程

（1）问题描述

（2）算法流程（文字描述版）

（3）算法流程（数学描述版）

3、详细例子

（1）例子一（靠嘴模拟）

（2）例子二（R语言实操）

[1] 代码部分

library(class)                             # 加载class包
s<-sample(1:150,100,replace=F)             # 对数据集进行抽样（只用抽行的序号即可）
train<-iris[s,1:4]                         # 输入训练集（已知类别的数据集Z），这里用iris数据集的前100个数据
test<-iris[-s,1:4]                         # 输入测试集（未知累呗的数据集Q），这里用iris数据集的后50个数据
model<-knn(train,test,cl=iris[s,5],k=10)   # 构建knn模型，cl中的l是字母l，不是数字1，cl用来指定已知的类别，k用来指定判别的邻居数
table(model)                               # 查看模型的判别情况
table(iris[-s,5])                          # 查看原始数据的实际类别情况
table(model,iris[-s,5])                    # 使用混淆矩阵查看判别的准确情况（行是判别出来的类别，列是实际的类别；即横着看是判别输出来的类别，竖着看是实际的类别）

[2] 结果部分

从最后的混淆矩阵表中可以看出，判别效果还是不错滴。对于setosa类型的iris数据，都判断对了；而对于versicolor类别的数据，有1个判错了，把其判断成了virginica类别。