python3.4+KNN

import numpy as np
import csv
'''
KNN思想：如果要判断某一个样本的类别，则只需要去找它的K个最近邻的样本，查看这K个样本的类别，出现最多次的样本类别就是待测样本的类别
KNN缺点：首先K值不好缺点；其次对样本不平衡的情况，效果不好；可解释性不太好。
采用默认参数
scikit-learn估计器:fit()与pridect()
fit()进行训练算法，接受训练集及其类别2个参数,得到训练模型。
predict()对测试数据类别进行预测，接受测试集的参数。
'''
#天线采集数据，每个数据有35个值，前34个为采集数据(浮点型)，最后一个要么是g,要么是b，表示采集数据的好坏
x_d = np.zeros((351, 34), dtype="float")   #存放数据集
x_c = np.zeros((351,), dtype="bool")       #存放类别

#简洁的写法，而且文件在读完后就自动关闭。
with open("ionosphere.data", 'r') as input_file:
    reader = csv.reader(input_file)
    for i, row in enumerate(reader):
        data = [float(datum) for datum in row[:-1]]     
        x_d[i] = data
        x_c[i] = row[-1] == 'g'  

#得到数据与存放类别后，进行训练集和测试集的划分
from sklearn.model_selection import train_test_split
#xd_train存放训练集数据，xc_train存放训练集数据对应的类别，xd_test存放测试集数据，xc_test存放测试集数据对应的类别
xd_train, xd_test, xc_train, xc_test = train_test_split(x_d, x_c, random_state=14)

#导入k近邻分类器
from sklearn.neighbors import KNeighborsClassifier
estimator = KNeighborsClassifier()

#近邻分类器:建立分类模型，找到待测试数据xd_test的近邻
estimator.fit(xd_train, xc_train)
xc_predicted = estimator.predict(xd_test)

accuracy = np.mean(xc_test == xc_predicted) * 100
print("The accuracy is {0:.1f}%".format(accuracy))
#上述就完成了一个简单点的分类的预测(都是采用的默认参数，很强大)

#为了减少训练集的划分对结果预测的正确性的影响，下面采用交叉检验
from sklearn.model_selection import cross_val_score
scores = cross_val_score(estimator, x_d, x_c, scoring="accuracy")
average_accuracy = np.mean(scores) * 100
print("The average accuracy is {0:.1f}%".format(average_accuracy))

#解决中文显示问题
from pylab import mpl 
mpl.rcParams['font.sans-serif'] = ['SimHei'] #指定默认字体 (黑体)

import matplotlib.pyplot as plt
x = range(len(xc_test))
for i in x:
    plt.xlabel("点的编号");
    plt.ylabel("点的类别")
    plt.plot(x,xc_test-0.1,"ro")      #测试集数据对应的真实类别
    plt.plot(x,xc_predicted-0.1,"bo") #测试集数据的预测类别
plt.show()

运行结果如下：

上面都是采用默认参数的KNN算法，下面将实现通过输入不同的K值，来检验准确率：

#采用自定义参数
import numpy as np
import csv

x = np.zeros((351, 34), dtype="float")   #存放数据集
y = np.zeros((351,), dtype="bool")       #存放类别

#简洁的写法，而且文件在读完后就自动关闭。
with open("ionosphere.data", 'r') as input_file:
    reader = csv.reader(input_file)
    for i, row in enumerate(reader):
        data = [float(datum) for datum in row[:-1]]     
        x[i] = data
        y[i] = row[-1] == 'g'  

#得到数据与存放类别后，进行训练集和测试集的划分
from sklearn.model_selection import cross_val_score
#导入k近邻分类器，输入参数,KNeighborsClassifier定义n_neighbors的个数
from sklearn.neighbors import KNeighborsClassifier
avg_scores = []
all_scores = []
parameter_values = list(range(1, 21))
for n_neighbors in parameter_values:
    estimator = KNeighborsClassifier(n_neighbors)
    scores = cross_val_score(estimator, x, y, scoring="accuracy")
    avg_scores.append(np.mean(scores))
    all_scores.append(scores)

#设置matplotlib的默认字体，解决中文乱码问题
from pylab import mpl 
mpl.rcParams['font.sans-serif'] = ['SimHei'] #指定默认字体 (黑体)
#mpl.rcParams['axes.unicode_minus'] = False #解决保存图像是负号'-'显示为方块的问题 

import matplotlib.pyplot as plt
plt.plot(parameter_values, avg_scores, '-o') 
plt.title(u"scikit-learn")
plt.xlabel(u"n_neighbors参数")
plt.ylabel(u"accuracy精确度")
plt.show()

运行结果如下：