KNN算法学习笔记

什么是KNN算法

寻找未知分类数据的离它最近的n个已知数据，通过已知数据的分类来推断这个未知数据的分类

KNN的原理

步骤

1. 计算距离（常用欧几里得距离或马氏距离）
2. 升序排列（最近的排前面，最远的排后面）
3. 取前K个
4. 加权平均

K的选取（算法的核心）

K太大：导致分类模糊

K太小：受个例影响，波动较大

如何取K

靠经验或者慢慢尝试

均方根误差

实战应用

以一个癌症检测数据集为例

1. 载入数据

2. 打乱数据，分组，分为测试集和训练集

将2/3的数据作为训练数据，1/3的数据作为测试数据

3. KNN函数实现

1. 计算距离（该测试数据与所有训练数据之间的距离），采用欧式距离计算（各项指标差的平方和再开方）

2. 按照距离升序排序

3. 取前K个

res2 = res[0:K]  #此时K = 5

4. 加权平均（距离小的权重大，距离大的权重小），先测得总距离，利用1-（该测试数据的距离/总距离）作为该测试数据的权重
   

4. 对测试数据进行测试输出准确率

利用准确数/总测试数据个数来计算准确率

5. 输出结果

6. 代码

import csv

#读取
import random

with open("Prostate_Cancer.csv","r") as file:
    reader = csv.DictReader(file)
    datas = [row for row in reader]

#分组，分为训练集和测试集
random.shuffle(datas)
n = len(datas) // 3

test_set = datas[0:n]
train_set = datas[n:]


#KNN
#距离
def distance(d1,d2):
    res = 0

    for key in ("radius","texture","perimeter","area","smoothness","compactness","symmetry","fractal_dimension"):
        res += (float(d1[key]) - float(d2[key])) ** 2

    return res ** 0.5

K = 5
def KNN(data):
    #1.距离
    res = [
        {"result":train["diagnosis_result"],"distance":distance(data,train)}
        for train in train_set
    ]

    #2.升序排序
    res = sorted(res,key=lambda item:item["distance"])

    #3.取前K个
    res2 = res[0:K]

    #4.加权平均
    result = {'B':0,'M':0}

    #总距离
    sum = 0
    for r in res2:
        sum += r["distance"]

    #计算权重
    for r in res2:
        result[r["result"]] += 1-r["distance"]/sum

    #结果
    if result['B'] > result['M']:
        return 'B'
    else:
        return 'M'

#测试
correct = 0
for test in test_set:
    result = test["diagnosis_result"]
    result2 = KNN(test)

    if result == result2:
        correct += 1

print("准确率：{:.2f}%".format(100 * correct / len(test_set)))