学习笔记之kNN算法

1.、

kNN 算法的算法流程

kNN 算法其实是众多机器学习算法中最简单的一种，因为该算法的思想完全可以用 8 个字来概括：“近朱者赤，近墨者黑”。

假设现在有这样的一个样本空间，该样本空间里有宅男和文艺青年这两个类别，其中红圈表示宅男，绿圈表示文艺青年。如下图所示：

其实构建出这样的样本空间的过程就是 kNN 算法的训练过程。可想而知 kNN 算法是没有训练过程的，所以 kNN 算法属于懒惰学习算法。

假设我在这个样本空间中用黄圈表示，如下图所示：

现在使用 kNN 算法来鉴别一下我是宅男还是文艺青年。首先需要计算我与样本空间中所有样本的距离。假设计算得到的距离表格如下：

样本编号	1	2	…	13	14
标签	宅男	宅男	…	文艺青年	文艺青年
距离	11.2	9.5	…	23.3	37.6

然后找出与我距离最小的 k 个样本(k 是一个超参数，需要自己设置，一般默认为 5)，假设与我离得最近的 5 个样本的标签和距离如下：

样本编号	4	5	6	7	8
标签	宅男	宅男	宅男	宅男	文艺青年
距离	11.2	9.5	7.7	5.8	15.2

最后只需要对这 5 个样本的标签进行统计，并将票数最多的标签作为预测结果即可。如上表中，宅男是 4 票，文艺青年是 1 票，所以我是宅男。

注意：有的时候可能会有票数一致的情况，比如 k=4 时与我离得最近的样本如下：

样本编号	4	9	11	13
标签	宅男	宅男	文艺青年	文艺青年
距离	4.2	9.5	7.7	5.8

可以看出宅男和文艺青年的比分是 2:2，那么可以尝试将属于宅男的 2 个样本与我的总距离和属于文艺青年的 2 个样本与我的总距离进行比较。然后选择总距离最小的标签作为预测结果。在这个例子中预测结果为文艺青年(宅男的总距离为 4.2+9.5，文艺青年的总距离为 7.7+5.8)。

2.

kNN 算法的优缺点

从算法流程中可以看出，kNN 算法的优点有：

• 原理简单，实现简单；
• 天生支持多分类，不像其他二分类算法在进行多分类时要使用 OvO、 OvR 的策略。

缺点也很明显： 

• 当数据量比较大或者数据的特征比较多时，预测过程的时间效率太低。、

• feature ：训练集数据，类型为 ndarray；

• label ：训练集标签，类型为 ndarray。

  predict 函数用于实现 kNN 算法的预测过程，函数返回预测的标签，其中：

• feature ：测试集数据，类型为 ndarray。（PS：feature中有多条数据）

•  

  # encoding=utf8
  import numpy as np
  
  
  class kNNClassifier(object):
      def __init__(self, k):
          '''
          初始化函数
          :param k:kNN算法中的k
          '''
          self.k = k
          # 用来存放训练数据，类型为ndarray
          self.train_feature = None
          # 用来存放训练标签，类型为ndarray
          self.train_label = None
  
      def fit(self, feature, label):
          '''
          kNN算法的训练过程
          :param feature: 训练集数据，类型为ndarray
          :param label: 训练集标签，类型为ndarray
          :return: 无返回
          '''
  
          # ********* Begin *********#
          self.train_feature = np.array(feature)
          self.train_label = np.array(label)
      
          # ********* End *********#
  
      def predict(self, feature):
          '''
          kNN算法的预测过程
          :param feature: 测试集数据，类型为ndarray
          :return: 预测结果，类型为ndarray或list
          '''
  
          # ********* Begin *********#
          def _predict(test_data):
              distances = [np.sqrt(np.sum((test_data - vec) ** 2)) for vec in self.train_feature]
  
              nearest = np.argsort(distances)
              topK = [self.train_label[i] for i in nearest[:self.k]]
              votes = {}
              result = None
              max_count = 0
              for label in topK:
                  if label in votes.keys():
                      votes[label] += 1
                      if votes[label] > max_count:
                          max_count = votes[label]
                          result = label
                  else:
                      votes[label] = 1
                      if votes[label] > max_count:
                          max_count = votes[label]
                          result = label
              return result
  
          predict_result = [_predict(test_data) for test_data in feature]
          return predict_result
      # ********* End *********#

下面就直接开始用

sklearn 中的 KNeighborsClassifier 类实现了 kNN 算法的分类功能，需要使用 sklearn 中 KNeighborsClassifier 来对红酒数据进行分类。 直接上代码

from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import numpy as np
def classification(train_feature, train_label, test_feature):
    '''
    对test_feature进行红酒分类
    :param train_feature: 训练集数据，类型为ndarray
    :param train_label: 训练集标签，类型为ndarray
    :param test_feature: 测试集数据，类型为ndarray
    :return: 测试集数据的分类结果
    '''
    #********* Begin *********#
    #实例化StandardScaler函数
    scaler = StandardScaler()
    train_feature = scaler.fit_transform(np.array(train_feature).reshape(133,13))
    test_feature = scaler.transform(np.array(test_feature).reshape(45,13))
    #生成K近邻分类器
    clf = KNeighborsClassifier()
    #训练分类器
    clf.fit(train_feature, train_label.astype('int'))
    #进行预测
    predict_result = clf.predict(test_feature)
    return predict_result 
    #********* End **********#

Numpy中的shape、reshape函数