目录
一.算法原理
通用步骤
K的选取
如何选取K
二.Python的举例实现(癌症检测)
1.加载数据
2.乱序分组(测试集和训练集)
3.KNN算法的实现
4.测试并输出结果
三.代码
一.算法原理
.通用步骤
1.计算距离(常用欧几里得距离或马氏距离)
2.升序排列
3.取前K个
4.加权平均
.K的选取
K太大:导致分类模糊
K太小:受个例影响,波动较大
由图可知,有两个类型的样本数据,一类是蓝色的正方形,另一类是红色的三角形。而那个绿色的圆形是我们待分类的数据。
如果K=3,那么离绿色点最近的有2个红色三角形和1个蓝色的正方形,这3个点投票,于是绿色的这个待分类点属于红色的三角形。
如果K=5,那么离绿色点最近的有2个红色三角形和3个蓝色的正方形,这5个点投票,于是绿色的这个待分类点属于蓝色的正方形。
因此,K值的选择对分类的结果有较大的影响。
.如何选取K
经验
均方根误差
二. Python的举例实现(癌症检测)
1.加载数据集
链接:https://pan.baidu.com/s/1w8cyvknAazrAYnAXdvtozw
提取码:zxmt
2.乱序分组(测试集和训练集)
random.shuffle(datas)
n = len(datas) // 3
test_set = datas[0:n]
train_set = datas[n:]
3.KNN算法的实现
def distance(d1,d2):
res = 0
for key in ("radius","texture","perimeter","area","smoothness","compactness","symmetry","fractal_dimension"):
res += (float(d1[key]) - float(d2[key])) ** 2
return res ** 0.5
K = 5
def KNN(data):
#1.距离
res = [
{"result":train["diagnosis_result"],"distance":distance(data,train)}
for train in train_set
]
#2.升序排序
res = sorted(res,key=lambda item:item["distance"])
#3.取前K个
res2 = res[0:K]
#4.加权平均
result = {'B':0,'M':0}
#总距离
sum = 0
for r in res2:
sum += r["distance"]
#计算权重
for r in res2:
result[r["result"]] += 1-r["distance"]/sum
#结果
if result['B'] > result['M']:
return 'B'
else:
return 'M'
4.测试并输出结果
correct = 0
for test in test_set:
result = test["diagnosis_result"]
result2 = KNN(test)
if result == result2:
correct += 1
print("准确率:{:.2f}%".format(100 * correct / len(test_set)))
三.代码
import csv
#读取数据
import random
with open("Prostate_Cancer.csv","r") as file:
reader = csv.DictReader(file)
datas = [row for row in reader]
#乱序分组,(测试集、训练集)
random.shuffle(datas)
n = len(datas) // 3
test_set = datas[0:n]
train_set = datas[n:]
#KNN算法的实现
#算法
def distance(d1,d2):
res = 0
for key in ("radius","texture","perimeter","area","smoothness","compactness","symmetry","fractal_dimension"):
res += (float(d1[key]) - float(d2[key])) ** 2
return res ** 0.5
K = 5
def KNN(data):
#1.距离
res = [
{"result":train["diagnosis_result"],"distance":distance(data,train)}
for train in train_set
]
#2.升序排序
res = sorted(res,key=lambda item:item["distance"])
#3.取前K个
res2 = res[0:K]
#4.加权平均
result = {'B':0,'M':0}
#总距离
sum = 0
for r in res2:
sum += r["distance"]
#计算权重
for r in res2:
result[r["result"]] += 1-r["distance"]/sum
#返回结果
if result['B'] > result['M']:
return 'B'
else:
return 'M'
#测试
correct = 0
for test in test_set:
result = test["diagnosis_result"]
result2 = KNN(test)
if result == result2:
correct += 1
#输出准确率
print("准确率:{:.2f}%".format(100 * correct / len(test_set)))