10.1 编程实现k近邻分类器,在西瓜数据集3.0a上比较其分类边界与决策树分类边界的异同。
根据k近邻分类器的原理,可简单地写出如下代码,通过各近邻点投票来判断各点的类别,分别取k=3,4,5可以得到如下3图。由图可见,k近邻分类器所得结果在训练集上分类效果较好,而其余决策树分类边界相比最大的不同在于其边界并不为直线,而是可以为曲线。这是因为在确定近邻时,k近邻分类器采用的是到各点的欧氏距离,所以其边界一般是不规则的。
# -*- coding: utf-8 -*-
# K-Nearest Neighbor Classifier(dataset3.0a)
import numpy as np
import matplotlib.pyplot as plt
def knn(train,test,num):
# train,test,num分别代表训练样本,待分类样本,近邻个数
output = [] # 输出相应样本的分类结果
m,n = len(train),len(test)
for i in range(n):
dist_ij = []
for j in range(m):
d = np.linalg.norm(test[i,:]-train[j,:-1])
dist_ij.append((j,d))
id_min = sorted(dist_ij, key=lambda x: x[1])[:num]
rate = [train[i[0],-1] for i in id_min]
if sum(rate)/num >= 0.5: # 当两类得票数相等时,优先划分为好瓜
output.append(1)