十大算法 —— KNN
1、基本介绍
(1)概述:KNN算法是一种简单实用的分类算法,其通过测量不同样本之间的距离,然后根据距离选择最近的K个邻居来进行分类。算法核心思想是如果一个样本在特征空间中的K个最临近的样本中的大多数属于某一个类别,则该样本也属于这个类别。整个分类过程包括三步,一是算距离来判断哪些是邻居;二是求近邻,即选择K值;三是做决策,进行分类。KNN算法是易于理解和实现的分类技术,且在许多情况下表现良好。KNN算法特别适合于多模式类及对象拥有多类别标签的情况。
(2)优点
[1] 简单好用,容易理解,精度高,理论成熟,既可以用于分类,也可以用于回归;
[2] 可用于数值型数据和离散型数据;
[3] 训练时间复杂度为O (n);
[4] 对异常值不敏感。
(3)缺点
[1] 计算复杂度高,空间复杂度高;
[2] 样本不平衡问题下误差较大;
[3] 一般数值很大时计算量太大,但是单个样本又不能太少,否则容易发生误分类;
[4] 无法给出数据的内在含义。
(4)算法的改进方向:分类效率的提高和分类效果的改善。
2、算法流程
(1)问题描述
![18d5f3a4323a6be7178d8d656d48cb78.png](https://i-blog.csdnimg.cn/blog_migrate/911e9a6990da315d7c004b27194bc1bb.jpeg)
(2)算法流程(文字描述版)
![8623fb21156021d3cf8dc6967a7a109a.png](https://i-blog.csdnimg.cn/blog_migrate/8bd6ab425831ee2143ce846ab7a8d83f.jpeg)
(3)算法流程(数学描述版)
![887e54b2e253feae39c51be04cfdb933.png](https://i-blog.csdnimg.cn/blog_migrate/20d64d9385a4e2e1d18d27062d5ca87a.jpeg)
3、详细例子
(1)例子一(靠嘴模拟)
![de0ada3da3328291d99a7b7816ae9ae0.png](https://i-blog.csdnimg.cn/blog_migrate/d5c562541bcd8988f10551a5b7adfd29.jpeg)
(2)例子二(R语言实操)
[1] 代码部分
library(class) # 加载class包
s<-sample(1:150,100,replace=F) # 对数据集进行抽样(只用抽行的序号即可)
train<-iris[s,1:4] # 输入训练集(已知类别的数据集Z),这里用iris数据集的前100个数据
test<-iris[-s,1:4] # 输入测试集(未知累呗的数据集Q),这里用iris数据集的后50个数据
model<-knn(train,test,cl=iris[s,5],k=10) # 构建knn模型,cl中的l是字母l,不是数字1,cl用来指定已知的类别,k用来指定判别的邻居数
table(model) # 查看模型的判别情况
table(iris[-s,5]) # 查看原始数据的实际类别情况
table(model,iris[-s,5]) # 使用混淆矩阵查看判别的准确情况(行是判别出来的类别,列是实际的类别;即横着看是判别输出来的类别,竖着看是实际的类别)
[2] 结果部分
![6b81b74caae3401b920d2d5183e5ce4b.png](https://i-blog.csdnimg.cn/blog_migrate/b6226cf4b3e4b4ab4371efc7568dcf19.jpeg)
从最后的混淆矩阵表中可以看出,判别效果还是不错滴。对于setosa类型的iris数据,都判断对了;而对于versicolor类别的数据,有1个判错了,把其判断成了virginica类别。