什么是KNN算法
寻找未知分类数据的离它最近的n个已知数据,通过已知数据的分类来推断这个未知数据的分类
KNN的原理
步骤
- 计算距离(常用欧几里得距离或马氏距离)
- 升序排列(最近的排前面,最远的排后面)
- 取前K个
- 加权平均
K的选取(算法的核心)
K太大:导致分类模糊
K太小:受个例影响,波动较大
如何取K
靠经验或者慢慢尝试
均方根误差
实战应用
以一个癌症检测数据集为例
1. 载入数据
2. 打乱数据,分组,分为测试集和训练集
将2/3的数据作为训练数据,1/3的数据作为测试数据
3. KNN函数实现
- 计算距离(该测试数据与所有训练数据之间的距离),采用欧式距离计算(各项指标差的平方和再开方)
- 按照距离升序排序
- 取前K个
res2 = res[0:K] #此时K = 5
- 加权平均(距离小的权重大,距离大的权重小),先测得总距离,利用1-(该测试数据的距离/总距离)作为该测试数据的权重
4. 对测试数据进行测试输出准确率
利用准确数/总测试数据个数来计算准确率
5. 输出结果
6. 代码
import csv
#读取
import random
with open("Prostate_Cancer.csv","r") as file:
reader = csv.DictReader(file)
datas = [row for row in reader]
#分组,分为训练集和测试集
random.shuffle(datas)
n = len(datas) // 3
test_set = datas[0:n]
train_set = datas[n:]
#KNN
#距离
def distance(d1,d2):
res = 0
for key in ("radius","texture","perimeter","area","smoothness","compactness","symmetry","fractal_dimension"):
res += (float(d1[key]) - float(d2[key])) ** 2
return res ** 0.5
K = 5
def KNN(data):
#1.距离
res = [
{"result":train["diagnosis_result"],"distance":distance(data,train)}
for train in train_set
]
#2.升序排序
res = sorted(res,key=lambda item:item["distance"])
#3.取前K个
res2 = res[0:K]
#4.加权平均
result = {'B':0,'M':0}
#总距离
sum = 0
for r in res2:
sum += r["distance"]
#计算权重
for r in res2:
result[r["result"]] += 1-r["distance"]/sum
#结果
if result['B'] > result['M']:
return 'B'
else:
return 'M'
#测试
correct = 0
for test in test_set:
result = test["diagnosis_result"]
result2 = KNN(test)
if result == result2:
correct += 1
print("准确率:{:.2f}%".format(100 * correct / len(test_set)))