K近邻(k-Nearest Neighbor, 简称KNN)算法是一种非常简单的机器学习监督算法。它的主要思想是:给定一个测试数据,如果离它最近的K个训练数据大多都属于某一个类别,则认为该测试数据也属于这个类别。以下图为例,图中的绿色点表示测试数据,现在我们需要判断这个点应该是红色三角形还是蓝色正方形。按照上述思想,如果K取3,则离绿色点最近的点中有两个是红色三角形,一个是蓝色正方形,因此KNN判断绿色点为红色三角形。
可见,KNN的思想确实十分简单,实现也很容易。但是我们思考一下为什么可以判断两个数据之间的“远近”?回到现实中的例子,当你判断是一张桌子理离你近,还是椅子离你近时,我们的衡量标准其实就是看桌子和椅子和我们的距离。回想一下:计算一条直线上两点的距离,我们可以直接将两点的坐标值相减后取绝对值得到;计算一个平面内两个点的距离,我们可以将点的各个坐标值带入欧式距离计算公式得到距离;同样地,计算三维空间中点的距离,也是将点的各个坐标值带入欧式距离计算公式得到。那么推广到d维空间中的点,我们也可以点的各个坐标值带入欧式距离计算公式得到。但是,各个点的坐标是如何确定的呢?其实就是我们引入了一个空间坐标系,d维空间中的一个点其实就是一个向量,这个向量的各个数值就对应了其在各个维度坐标轴上的取值。其实我们也可以将机器学习中的每个样本看作是d维空间中的一个点,这样我们就可以采用空间中的距离计算方法来衡量样本之间的距离,因此才会有所谓的“远近”。也就是说,KNN将每一个数据都看作是d维空间中的一个点,在这个空间中采用了坐标系来描述这个点的位置,再通过某种距离计算公式来表示这两个点之间的距离。
KNN分类
给定一个d维的测试数据 x∈Rd ,KNN对于x的分类过程如下:
- 计算x与每一个训练数据之间的距离
- 对计算得到的距离按照从小到大的顺序排序
找到距离最小的k个训练数据,采用多数投票的方式得到k个训练数据中出现次数最多的类标签,将x判定为这个类标签。
使用pyhton实现KNN如下:
def knn_cla(train_dat, train_label, test_dat, k = 1): ''' k-neighbour nearest ''' ntrain = train_dat.shape[0] pred_label = list() for i, test_item in enumerate(test_dat): dis = [] for train_item in train_dat: dis.append(distance.euclidean(test_item, train_item)) nearest_ind = range(ntrain) sorted(nearest_ind, key=lambda x:dis[x]) nearest_label = [train_label[nearest_ind[x]] for x in range(k)] pred_label.append(Counter(nearest_label).most_common()[0][0]) return np.array(pred_label)
KNN 回归
在分类任务中,KNN采取多数投票的方法判定测试数据的类别。在回归任务中可以采取多种方法判定。“平均法”将找出的K个最近测试样本的实值输出的平均值作为预测结果;“加权平均”将权重的倒数作为K个样本的权重值,从而计算加权平均,距离越近的样本其权重越大。
def knn_reg(train_dat, train_prob, test_dat, k = 1):
'''
k-neighbour nearest
'''
ntrain = train_dat.shape[0]
ntest = test_dat.shape[0]
pred_prob = np.zeros((ntest, 6))
for i, test_item in enumerate(test_dat):
dis = []