KNN算法简单操作 和 KNN的决策边界

KNN（属于监督学习）中几个需要考虑的问题：
(1)怎样把一个物体表示成一个向量
(2)怎样标记好每一个物体的标签
(3)怎么计算两物体之间的距离/相似度
(4)怎样选择合适的k

注：第一个的数据来源于sklearn这学习库中
from sklearn import datasets #使用自带数据集
from sklearn.model_selection import train_test_split#把数据分成训练和测试
from sklearn.neighbors import KNeighborsClassifier #neighbors某一类算法
import numpy as np
#读取数据X y
iris = datasets.load_iris() #UCI 3分类问题
X = iris.data #特征：矩阵: N*D N:samples(样本个数) D：维度
y = iris.target #label 标签 0，1，2 向量
print(X,y)

#把数据分成测试数据和训练数据 random_state=2003随机的种子 训练数据和结果数据是一直到，我得到的结果就是相等的
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2003)
#构建KNN模型 k为3 并做训练
clf = KNeighborsClassifier(n_neighbors=3)#指的就是k =3
clf.fit(X_train,y_train)#训练的过程

#计算准确率
from sklearn.metrics import accuracy_score
#clf.predict(X_test) == y_test这句话的意思是预测值和真实值做一个对比
#第一种计算方式
correct = np.count_nonzero((clf.predict(X_test) == y_test)==True)
#第二种计算方式
#accuracy_score(y_test,clf.predict(X_test))
#print(accuracy_score(y_test,clf.predict(X_test)))
#correct/len(X_test) 正确的个数除以总的数据个数
print(“Accuracy is: %.3f” %(correct/len(X_test)))

=====================================================
注：自造的数据
KNN决策边界
“”"
KNN的决策边界
“”"
import matplotlib.pyplot as plt
import numpy as np
from itertools import product
from sklearn.neighbors import KNeighborsClassifier
#生成一些随机样本
n_points= 100
#multivariate_normal多元的高斯分布生成x和y
X1 = np.random.multivariate_normal([1,50],[[1,0],[0,10]],n_points)
X2 = np.random.multivariate_normal([2,50],[[1,0],[0,10]],n_points)
X = np.concatenate([X1,X2])
y = np.array([0]*n_points + [1]*n_points)
print(X.shape,y.shape)

#KNN模型训练过程
clfs = []
#训练了这么多模型
neighbors = [1,3,5,9,11,13,15,17,19]
for i in range(len(neighbors)):
clfs.append(KNeighborsClassifier(n_neighbors=neighbors[i]).fit(X,y))

#可视化结果
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
#meshgrid就是把二维空间中所有的点都列出来
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1), np.arange(y_min,y_max,0.1))
#采样之后对每一个进行分类
f, axarr = plt.subplots(3,3, sharex=‘col’,sharey=‘row’,figsize=(15,12))
#clfs里去预测
for idx,clf,tt in zip(product([0,1,2],[0,1,2]),clfs,[‘KNN (k=%d)’%k for k in neighbors]):
#所有的标签是放在这里的
Z = clf.predict(np.c_[xx.ravel(),yy.ravel()])
Z = Z.reshape(xx.shape)
axarr[idx[0],idx[1]].contourf(xx, yy, Z, alpha=0.4)
axarr[idx[0],idx[1]].scatter(X[:,0],X[:,1],c=y,s=20,edgecolors=‘k’)
axarr[idx[0],idx[1]].set_title(tt)
plt.show()

以上代码仅供参考，两个代码我都已经跑通