knn算法python理解与预测_理解KNN算法

KNN主要包括训练过程和分类过程。在训练过程上，需要将训练集存储起来。在分类过程中，将测试集和训练集中的每一张图片去比较，选取差别最小的那张图片。

如果数据集多，就把训练集分成两部分，一小部分作为验证集(假的测试集)，剩下的都为训练集(一般来说是70%-90%，具体多少取决于需要调整的超参数的多少，如果超参数多，验证集占比就更大一点)。验证集的好处是用来调节超参数，如果数据集不多，使用交叉验证的方法来调节参数。但是交叉验证的代价比较高，K折交叉验证，K越大越好，但是代价也更高。

决策分类

明确K个邻居中所有数据类别的个数，将测试数据划分给个数最多的那一类。即由输入实例的 K 个最临近的训练实例中的多数类决定输入实例的类别。

常用决策规则：

多数表决法：多数表决法和我们日常生活中的投票表决是一样的，少数服从多数，是最常用的一种方法。

加权表决法：有些情况下会使用到加权表决法，比如投票的时候裁判投票的权重更大，而一般人的权重较小。所以在数据之间有权重的情况下，一般采用加权表决法。

优点：

所选择的邻居都是已经正确分类的对象

KNN算法本身比较简单，分类器不需要使用训练集进行训练，训练时间复杂度为0。本算法分类的复杂度与训练集中数据的个数成正比。

对于类域的交叉或重叠较多的待分类样本，KNN算法比其他方法跟合适。

缺点：

当样本分布不平衡时，很难做到正确分类

计算量较大，因为每次都要计算测试数据到全部数据的距离。

python代码实现：

import numpy as np

class kNearestNeighbor:

def init(self):

pass

def train(self, X, y):

self.Xtr = X

self.ytr = y

def predict(self, X, k=1):

num_test = X.shape[0]

Ypred = np.zeros(num_test, dtype = self.ytr.dtype)

for i in range(num_test):

distances = np.sum(np.abs(self.Xtr - X[i,:]), axis = 1)

closest_y = y_train[np.argsort(distances)[:k]]

u, indices = np.unique(closest_y, return_inverse=True)

Ypred[i] = u[np.argmax(np.bincount(indices))]

return Ypred

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

load_CIFAR_batch()和load_CIFAR10()是用来加载CIFAR-10数据集的

import pickle

def load_