1、初探kNN算法_学习笔记

1.kNN简介

kNN(k-NearestNeighbor)，也就是k最近邻算法。顾名思义，所谓K最近邻，就是k个最近的邻居的意思。也就是在数据集中，认为每个样本可以用离他最距离近的k个邻居来代表。

2.kNN算法流程

通过理解算法思想，可以将其简化为“找邻居+投票”。K近邻法使用的模型，实际上是特征空间的划分。模型由三个基本要素决定：

• 距离度量
• k值
• 分类决策规则
  其中两个实例点之间的距离反映了相似程度。一般来说使用欧氏距离来计算。

梳理kNN算法流程如下：

• 计算测试对象到训练集中每个对象的距离
• 按照距离的远近排序
• 选取与当前测试对象最近的k的训练对象，作为该测试对象的邻居
• 统计这k个邻居的类别频次
• k个邻居里频次最高的类别，即为测试对象的类别

3.kNN算法自实现

准备数据

import numpy as np
import matplotlib.pyplot as plt

# raw_data_x是特征，raw_data_y是标签，0为良性，1为恶性
raw_data_X = [[3.393533211, 2.331273381],
              [3.110073483, 1.781539638],
              [1.343853454, 3.368312451],
              [3.582294121, 4.679917921],
              [2.280362211, 2.866990212],
              [7.423436752, 4.685324231],
              [5.745231231, 3.532131321],
              [9.172112222, 2.511113104],
              [7.927841231, 3.421455345],
              [7.939831414, 0.791631213]
             ]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]

# 设置训练组
X_train = np.array(raw_data_X)
y_train = np.array(raw_data_y)

# 将数据可视化
plt.scatter(X_train[y_train==0,0],X_train[y_train==0,1], color='g', label = 'Tumor Size')
plt.scatter(X_train[y_train==1,0],X_train[y_train==1,1], color='r', label = 'Time')
plt.xlabel('Tumor Size')
plt.ylabel('Time')
plt.axis([0,10,0,5])
plt.show()

数据可视化后生成的图片如上图所示。其中横轴是肿块大小，纵轴是发现时间。每个病人的肿块大小和发病时间构成了二维平面特征中的一个点。对于每个点，我们通过label明确是良性肿瘤（绿色）、恶性肿瘤（红色）。

现在给出一个肿瘤患者的数据（样本点）x：[8.90933607318, 3.365731514]，是良性肿瘤还是恶性肿瘤?

x=[8.90933607318, 3.365731514]

求点x到数据集中每个点的距离，首先计算距离，使用欧氏距离

from math import sqrt

distances = []  # 用来记录x到样本数据集中每个点的距离
for x_train in X_train:
    d = sqrt(np.sum((x_train - x) ** 2))
    distances.append(d)

# 使用列表生成器，一行就能搞定，对于X_train中的每一个元素x_train都进行前面的运算，把结果生成一个列表
distances = [sqrt(np.sum((x_train - x) ** 2)) for x_train in X_train]

distances

[5.611968000921151,
 6.011747706769277,
 7.565483059418645,
 5.486753308891268,
 6.647709180746875,
 1.9872648870854204,
 3.168477291709152,
 0.8941051007010301,
 0.9830754144862234,
 2.7506238644678445]

求出距离列表之后，需要进行一次排序操作

nearest = np.argsort(distances)

nearest

array([7, 8, 5, 9, 6, 3, 0, 1, 4, 2], dtype=int64)

选择k值，暂定为6，找出最近的6个点（top 6），并记录他们的标签值（y）

k = 6
topK_y = [y_train[i] for i in nearest[:k]]

topK_y

[1, 1, 1, 1, 1, 0]

进入投票环节,将数组中的元素和元素出现的频次进行统计

from collections import Counter
votes = Counter(topK_y)

votes

Counter({1: 5, 0: 1})

# Counter.most_common(n) 
#找出票数最多的n个元素，返回的是一个列表，列表中的每个元素是一个元组，元组中第一个元素是对应的元素是谁，第二个元素是频次
votes.most_common(1)

[(1, 5)]

得到预测的y值是1

4.自实现完整工程代码

jupyter notebook中写好了kNN算法(https://github.com/japsonzbz/ML_Algorithms), 在外部进行封装

%run kNN.py

from kNN import kNNClassifier
knn_clf = kNNClassifier(k=6)
knn_clf.fit(X_train, y_train)
X_predict = np.array(x).reshape(1,-1)
y_predict = knn_clf.predict(X_predict)

y_predict

array([1])

5. sklearn中的kNN

from sklearn.neighbors import KNeighborsClassifier

# 创建kNN_classifier实例
kNN_classifier = KNeighborsClassifier(n_neighbors=6)

# kNN_classifier做一遍fit(拟合)的过程，没有返回值，模型就存储在kNN_classifier实例中
kNN_classifier.fit(X_train, y_train)

KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
                     metric_params=None, n_jobs=None, n_neighbors=6, p=2,
                     weights='uniform')

# kNN进行预测predict，需要传入一个矩阵，而不能是一个数组。reshape()成一个二维数组，第一个参数是1表示只有一个数据，第二个参数-1，numpy自动决定第二维度有多少
y_predict = kNN_classifier.predict(np.array(x).reshape(1,-1))

y_predict

array([1])

学习总结：
1、了解第一个ML算法kNN；
2、学习kNN算法的流程，并且在jupyter notebook上手动实现了代码，并且在外部也进行了封装；
3、学习sklearn中的kNN算法