机器学习第一周——KNN

代码实现：
from math import sqrt
import numpy as np
import matplotlib.pyplot as plt
from collections import Counter

raw_data_x是特征，raw_data_y是标签，0为良性，1为恶性

raw_data_X = [[3.393533211, 2.331273381],
[3.110073483, 1.781539638],
[1.343853454, 3.368312451],
[3.582294121, 4.679917921],
[2.280362211, 2.866990212],
[7.423436752, 4.685324231],
[5.745231231, 3.532131321],
[9.172112222, 2.511113104],
[7.927841231, 3.421455345],
[7.939831414, 0.791631213]
]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]

设置训练组

X_train = np.array(raw_data_X)
y_train = np.array(raw_data_y)

将数据可视化

plt.scatter(X_train[y_train0,0],X_train[y_train0,1], color=‘g’, label = ‘Tumor Size’)
plt.scatter(X_train[y_train1,0],X_train[y_train1,1], color=‘r’, label = ‘Time’)
plt.xlabel(‘Tumor Size’)
plt.ylabel(‘Time’)
plt.axis([0,10,0,5])
plt.show()

x = [8.90933607318, 3.365731514]
distances = [] # 用来记录x到样本数据集中每个点的距离
for x_train in X_train:
d = sqrt(np.sum((x_train - x) ** 2))
distances.append(d) #这个循环的功能和下面的列表解析式相同，生成一个距离作为元素的列表

=============================================================================

# 使用列表生成器，一行就能搞定，对于X_train中的每一个元素x_train都进行前面的运算，把结果生成一个列表。

distances = [sqrt(np.sum((x_train - x) ** 2)) for x_train in X_train]

=============================================================================

print("distances= ", distances)

#这里我们使用函数：np.argsort(array) 对一个数组按照从小到大进行排序，返回的是相应的排序后结果的索引
nearest = np.argsort(distances)
print("nearest= ", nearest)

#然后我们选择k值，这里暂定为6，那就找出最近的6个点（top 6），并记录他们的标签值（y）
k = 6
topK_y = [y_train[i] for i in nearest[:k]]
print("topK_y= ", topK_y)

#下面进入投票环节。找到与测试样本点最近的6个训练样本点的标签y是什么。可以查不同类别的点有多少个。
#将数组中的元素和元素出现的频次进行统计
votes = Counter(topK_y)
print("votes= ",votes)

Counter.most_common(n) 找出票数最多的n个元素，返回的是一个列表，列表中的每个元素是一个元组，元组中第一个元素是对应的元素是谁，第二个元素是频次

print(votes.most_common(1))

predict_y = votes.most_common(1)[0][0]
print("predict_y= ", predict_y)

输出结果：