1.kNN简介
kNN(k-NearestNeighbor),也就是k最近邻算法。顾名思义,所谓K最近邻,就是k个最近的邻居的意思。也就是在数据集中,认为每个样本可以用离他最距离近的k个邻居来代表。
2.kNN算法流程
通过理解算法思想,可以将其简化为“找邻居+投票”。K近邻法使用的模型,实际上是特征空间的划分。模型由三个基本要素决定:
- 距离度量
- k值
- 分类决策规则
其中两个实例点之间的距离反映了相似程度。一般来说使用欧氏距离来计算。
梳理kNN算法流程如下:
- 计算测试对象到训练集中每个对象的距离
- 按照距离的远近排序
- 选取与当前测试对象最近的k的训练对象,作为该测试对象的邻居
- 统计这k个邻居的类别频次
- k个邻居里频次最高的类别,即为测试对象的类别
3.kNN算法自实现
准备数据
import numpy as np
import matplotlib.pyplot as plt
# raw_data_x是特征,raw_data_y是标签,0为良性,1为恶性
raw_data_X = [[3.393533211, 2.331273381],
[3.110073483, 1.781539638],
[1.343853454, 3.368312451],
[3.582294121, 4.679917921],
[2.280362211, 2.866990212],
[7.423436752, 4.685324231],
[5.745231231, 3.532131321],
[9.172112222, 2.511113104],
[7.927841231, 3.421455345],
[7.939831414, 0.791631213]
]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
# 设置训练组
X_train = np.array(raw_data_X)
y_train = np.array(raw_data_y)
# 将数据可视化
plt.scatter(X_train[y_train==0,0],X_train[y_train==0,1], color='g', label = 'Tumor Size')
plt.scatter(X_train[y_train==1,0],X_train[y_train==1,1], color='r', label = 'Time')
plt.xlabel('Tumor Size')
plt.ylabel('Time')
plt.axis([0,10,0,5])
plt.show()
数据可视化后生成的图片如上图所示。其中横轴是肿块大小,纵轴是发现时间。每个病人的肿块大小和发病时间构成了二维平面特征中的一个点。对于每个点,我们通过label明确是良性肿瘤(绿色)、恶性肿瘤(红色)。
现在给出一个肿瘤患者的数据(样本点)x:[8.90933607318, 3.365731514],是良性肿瘤还是恶性肿瘤?
x=[8.90933607318, 3.365731514]
求点x到数据集中每个点的距离,首先计算距离,使用欧氏距离
from math import sqrt
distances = [] # 用来记录x到样本数据集中每个点的距离
for x_train in X_train:
d = sqrt(np.sum((x_train - x) ** 2))
distances.append(d)
# 使用列表生成器,一行就能搞定,对于X_train中的每一个元素x_train都进行前面的运算,把结果生成一个列表
distances = [sqrt(np.sum((x_train - x) ** 2)) for x_train in X_train]
distances
[5.611968000921151,
6.011747706769277,
7.565483059418645,
5.486753308891268,
6.647709180746875,
1.9872648870854204,
3.168477291709152,
0.8941051007010301,
0.9830754144862234,
2.7506238644678445]
求出距离列表之后,需要进行一次排序操作
nearest = np.argsort(distances)
nearest
array([7, 8, 5, 9, 6, 3, 0, 1, 4, 2], dtype=int64)
选择k值,暂定为6,找出最近的6个点(top 6),并记录他们的标签值(y)
k = 6
topK_y = [y_train[i] for i in nearest[:k]]
topK_y
[1, 1, 1, 1, 1, 0]
进入投票环节,将数组中的元素和元素出现的频次进行统计
from collections import Counter
votes = Counter(topK_y)
votes
Counter({1: 5, 0: 1})
# Counter.most_common(n)
#找出票数最多的n个元素,返回的是一个列表,列表中的每个元素是一个元组,元组中第一个元素是对应的元素是谁,第二个元素是频次
votes.most_common(1)
[(1, 5)]
得到预测的y值是1
4.自实现完整工程代码
jupyter notebook中写好了kNN算法(https://github.com/japsonzbz/ML_Algorithms), 在外部进行封装
%run kNN.py
from kNN import kNNClassifier
knn_clf = kNNClassifier(k=6)
knn_clf.fit(X_train, y_train)
X_predict = np.array(x).reshape(1,-1)
y_predict = knn_clf.predict(X_predict)
y_predict
array([1])
5. sklearn中的kNN
from sklearn.neighbors import KNeighborsClassifier
# 创建kNN_classifier实例
kNN_classifier = KNeighborsClassifier(n_neighbors=6)
# kNN_classifier做一遍fit(拟合)的过程,没有返回值,模型就存储在kNN_classifier实例中
kNN_classifier.fit(X_train, y_train)
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=6, p=2,
weights='uniform')
# kNN进行预测predict,需要传入一个矩阵,而不能是一个数组。reshape()成一个二维数组,第一个参数是1表示只有一个数据,第二个参数-1,numpy自动决定第二维度有多少
y_predict = kNN_classifier.predict(np.array(x).reshape(1,-1))
y_predict
array([1])
学习总结:
1、了解第一个ML算法kNN;
2、学习kNN算法的流程,并且在jupyter notebook上手动实现了代码,并且在外部也进行了封装;
3、学习sklearn中的kNN算法