KNN 学习笔记
knn K近邻算法原理
K近邻算法:给定一个训练数据集,对新的的输入实例,在训练数据集中找到与该实例最邻近的的K个实例,这K个实例的多数属于某个类,就把该实例分为这个类。
KNN 是 supervised learning, non parametric(无参数) instance-based(基于实例) learning algorithm.
K值选择、距离度量、以及分类决策(一般多数表决)为K近邻算法的三个基本要素。
- K值选择
Wikipedia上的KNN词条中有一个比较经典的图如下:
从上图中我们可以看到,图中的有两个类型的样本数据,一类是蓝色的正方形,另一类是红色的三角形。而那个绿色的圆形是我们待分类的数据。
如果K=3,那么离绿色点最近的有2个红色三角形和1个蓝色的正方形,这3个点投票,于是绿色的这个待分类点属于红色的三角形。
如果K=5,那么离绿色点最近的有2个红色三角形和3个蓝色的正方形,这5个点投票,于是绿色的这个待分类点属于蓝色的正方形。
可见K值的选择对分类的结果还是有很大的影响。
2.整体代码
在这里插入代码片
import csv
import random
# 读取数据
with open("Prostate_Cancer.csv", "r") as file:
reader = csv.DictReader(file) # reader是一个可迭代的对象
datas = [row for row in reader]
# for row in reader: # 有顺序地打印出每一行的数据文件
# print(row)
# 分组,训练组和测试组
random.shuffle((datas)) # 打乱次序,以防每次都是一样的训练集和测试集
n = len(datas) // 3 # 数据总长度整除3
test_set = datas[0:n]
train_set = datas[n:]
# KNN
# 算距离,欧氏距离
def distance(d1, d2):
res = 0
for key in ("radius", "texture", "perimeter", "area", "smoothness", "compactness", "symmetry", "fractal_dimension"):
res += (float(d1[key]) - float(d2[key])) ** 2 # 同一维度的数据相减后平方,最后求和
return res ** 0.5 # 开方
K = 4
def knn(data):
# 1.距离
res = [
# distance(data, train) # 找到data和训练项之间的距离
{"result": train['diagnosis_result'], "distance": distance(data, train)}
for train in train_set # 训练项循环一遍
]
# 2.排序--升序
res = sorted(res, key=lambda item: item['distance'])
# 3.取前k个
res2 = res[0:K]
# 4.加权平均
result = {'B': 0, 'M': 0} # 权重为0,离得近的权重高,离得远的权重低
# 先算出总距离
sum = 0
for r in res2:
sum += r['distance']
for r in res2:
result[r['result']] += 1 - r['distance'] / sum # 计算权重
if result['B'] > result['M']:
return 'B'
else:
return 'M'
# 测试阶段
# 记录正确的次数,计算准确率
correct = 0
for test in test_set:
result = test['diagnosis_result']
result2 = knn(test) # 预测的结果
if result == result2:
correct += 1
print(correct)
print(len(test_set))
print("准确率:{:.2f}%".format(100 * correct / len(test_set)))```