KNN算法程序设计方法作业

一 题目：Python实现KNN算法，使用鸢尾花(iris)作为测试数据
二 算法设计：

1)KNN算法

1. 算法介绍
   邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
   2.算法实现过程：
   (1)求欧式距离
   (2)选取前k个临近点的数据
   (3)选出前k个数据中出现次数最多的标签
   (4)将期待的标签设置为出现次数最多的 标签对应的类
   三 源码
   from sklearn.model_selection import train_test_split
   from sklearn.datasets import load_iris
   import mglearn
   import numpy as np
   from collections import Counter
   import pandas as pd

class Knn():
def init(self,k=4):
self.k = k
def fit(self,x,y):
self.x = x
self.y = y
# 求欧式距离
def dis(self,instant1, instant2):
dist = np.sqrt(np.sum((instant1 - instant2) ** 2))
return dist
def knn_classfy(self,X,y,test):
distances = [self.dis(x,test) for x in X]
#选取前K个邻居
kneighbors = np.argsort(distances)[:self.k]
#记标签的个数
count = Counter(y[kneighbors])
#统计出现次数最多的标签
return count.most_common()[0][0]

def predict(self,test_x):
     # 预测的标签集
    pre = [self.knn_classfy(self.x,self.y,i) for i in test_x] 
    return  pre
def score(self,test_x,test_y):
    # 预测的标签集
    pre = [self.knn_classfy(self.x,self.y,i) for i in test_x]  
    # 统计测试集的标签和预测的标签相同的个数   
    col = np.count_nonzero((pre == test_y))  
    return col / test_y.size

iris_dataset = load_iris()
x_train, x_test, y_train, y_test = train_test_split(iris_dataset[‘data’], iris_dataset[‘target’], random_state=5)
mknn = Knn(5)
mknn.fit(x_train, y_train)
y_predict = list(mknn.predict(x_test))
print(y_predict)
labels = [“山鸢尾”,“虹膜锦葵”,“变色鸢尾”]
for i in range(len(y_predict)):
print(“第%d次测试:真实值:%s\t预测值:%s”%((i+1),labels[y_predict[i]],labels[y_test[i]]))
print(“准确率：”,mknn.score(x_test, y_test))
四．测试及调试

五 总结

算法优点

1、KNN可以处理分类问题，同时天然可以处理多分类问题，比如鸢尾花的分类

2、简单，易懂，同时也很强大，对于手写数字的识别，鸢尾花这一类问题来说，准确率很高

3、KNN还可以处理回归问题，也就是预测

算法缺点

1、效率低，因为每一次分类或者回归，都要把训练数据和测试数据都算一遍，如果数据量很大的话，需要的算力会很惊人，但是在机器学习中，大数据处理又是很常见的一件事

2、对训练数据依赖度特别大，虽然所有机器学习的算法对数据的依赖度很高，但是KNN尤其严重，因为如果我们的训练数据集中，有一两个数据是错误的，刚刚好又在我们需要分类的数值的旁边，这样就会直接导致预测的数据的不准确，对训练数据的容错性太差

3、维数灾难，KNN对于多维度的数据处理也不是很好。