机器学习入门之KNN

介绍

KNN（K-nearest-neighbor）的中文名称叫做K临近算法。它是一个有监督的机器学习算法，既可以用来做分类任务也可以用来做回归任务。KNN算法的核心思想是未标记的样本的类别，由距离他最近的K个邻居投票来决定。

原理介绍

假设X_test为待标记的样本，X_train为已标记的样本数据集：

1、遍历X_train中的所有样本，计算每个样本与X_test的之间的距离(一般为欧式距离)。并且把距离保存在一个distince 的数组中。

2、对distince数组进行排序，取距离最近的K个点。记作X_knn。

3、在X_knn中统计每个类别的个数，既class_0在X_knn中有几个样本，class_1在X_knn中有几个样本等。

4、待标记样本的类别就是X_knn中样本个数最多的那个类别。

代码实现

import numpy as np
import matplotlib.pyplot as plt
# raw_data_x是特征，raw_data_y是标签，0为良性，1为恶性
raw_data_X = [[3.393533211, 2.331273381],
              [3.110073483, 1.781539638],
              [1.343853454, 3.368312451],
              [3.582294121, 4.679917921],
              [2.280362211, 2.866990212],
              [7.423436752, 4.685324231],
              [5.745231231, 3.532131321],
              [9.172112222, 2.511113104],
              [7.927841231, 3.421455345],
              [7.939831414, 0.791631213]
             ]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
# 设置训练组
X_train = np.array(raw_data_X)
y_train = np.array(raw_data_y)
# 将数据可视化
plt.scatter(X_train[y_train==0,0],X_train[y_train==0,1], color='g', label = 'Tumor Size')
plt.scatter(X_train[y_train==1,0],X_train[y_train==1,1], color='r', label = 'Time')
plt.xlabel('Tumor Size')
plt.ylabel('Time')
plt.axis([0,10,0,5])
plt.show()

from math import sqrt
x = [8.90933607318, 3.365731514]
distances = []  
# 用来记录x到样本数据集中每个点的距离
for x_train in X_train:
    d = sqrt(np.sum((x_train - x) ** 2))
    distances.append(d)
    # 使用列表生成器，一行就能搞定，对于X_train中的每一个元素x_train都进行前面的运算，把结果生成一个列表
    distances = [sqrt(np.sum((x_train - x) ** 2)) for x_train in X_train]

nearest = np.argsort(distances)
k = 6
topK_y = [y_train[i] for i in nearest[:k]]
topK_y
from collections import Counter
votes = Counter(topK_y)
predict_y = votes.most_common(1)[0][0]
predict_y

其他

本文的起源是最近我参加了一个继续学习小组打卡的活动，每周组织者会出一个机器学习相关的题目，参与者需要完成打卡。组织者十分有耐心，纯粹是组织大家学习，没有向大家收取任何费用。在此宣传一下，微信公众号：数据科学家联盟