Knn算法学习笔记 —— 癌症检测

1、认识Knn算法

1.1、寻找最近的k个数据，推测出新数据的分类。
1.2、KNN 是 supervised learning， non parametric（无参数） instance-based（基于实例） learning algorithm.

K值选择、距离度量、以及分类决策(一般多数表决)为K近邻算法的三个基本要素。

从上图来看，k值的不同是会产生不同的效果的，当k=2时，为红色三角，当k=5时，为蓝色的正方形。

2、算法原理

2.1、通用步骤
（1）计算距离（常用欧几里得距离或马氏距离）
（2）升序排列
（3）取前k个
（4）加权平均值（当离”我“越近就证明，权重越高，主要的不是分布的排序，主要的是看与目标之间的距离）
2.2、k的选取
（1） k太大：导致分类模糊（例如总共1000个，有800个都是一类的，这样扔一个东西进来大概率是这个类的）
（2）k太小：受个例影响，波动较大 （有的数据是个例的，当k太小就容易受到个例的数据影响）
2.3、如何选取k
（1） 经验（多取值，多试几次）
（2）均方根误差（找到峰值的那个点为k，就如下图中的最高点，由此来进行取值）

3、实战应用

3.1、数集准备
（1）我们使用的是一个癌症的检测数据。数据集地址。提取码：zxmt
3.2、代码的实现`
（1）数据的读取

with open('Prostate_Cancer.csv','r') as file:   #打开文件，并以只读的形式进入文件，命名为file
    reader = csv.DictReader(file)   #将读出的数据以字典的形式呈现

    datas = [row for row in reader]   #做一个推导，将所有的数据进行抽取

（2）数据分块（分为test和train）

# 2、分组为训练集和测试集   因为数据不多，所以2/3为训练集，1/3为测试集

random.shuffle(datas)   #为了避免测试集，训练集的数据一直是那几个，导致算法看起来较为合理，所以，我们使用random将数据进行打乱

n = len(datas)//3   #通过整除的方式，获取整数

test_set = datas[0:n]

train_set = datas[n:]

（3）KNN算法
     1、距离(使用欧几里得距离)

#这个函数是用来计算每一个数据到目标数据之间的距离，参数d1表示的是目标数据，在循环中是不需要改变的，d2表示的是不同的数据吗，在一次汇总后是需要不断的进行改变的。
def distance(d1 , d2):
    res = 0

    for key in ("radius", "texture", "perimeter", "area", "smoothness", "compactness", "symmetry", "fractal_dimension"):
        res+= pow((float(d1[key]) - float(d2[key])),2)     #因为csv文件读进来是字符串的形式，而我们的数据中同样有整数和浮点，所以我们这里用浮点进行强制转化

    return pow(res,0.5)
    K = 5  #自己多尝试
def knn(data):
    # 1、距离
    
    #这里的形式是，病情分析的结果和与目标数据之间的距离组成

    res=[
        {"result": train['diagnosis_result'], "distance": distance(data, train)}
        for train in train_set
    ]

     2、升序排列

res = sorted(res, key=lambda item:item['distance'])   #升序排列，并以distance为参考值

     3、取前K个值

res2 = res[0:K]

     4、加权平均

result = {'B': 0, 'M': 0}   #这里的 0 表示权重

     5、计算总距离

sum = 0
    for r in res2:
        sum+=r['distance']

    for r in res2:
        result[r['result']]+=1-r['distance']/sum    #因为距离越近，权重应该越高，r['distance']/sum表示的是距离占全部的份数，与权重相反，所以要用1进行减法
     
     #对数据进行大小比较，返回病情

    if result['B'] > result['M']:
        return 'B'
    else:
        return 'M'

（4）测试

correct = 0
for test in test_set:
    result = test['diagnosis_result']  
    result2 = knn(test)

    if result == result2:
        correct+=1


print("准确率：{:.2f}%".format(100*correct/len(test_set)))

4、总结

总体而言，knn算法，是通过对目标数据距离较近的数据进行行为总结、分类，然后推断出总体数据的一个大致方向。整体分为，计算距离、升序排列、取前k个数据、加权平均这几个步骤。

参考

https://blog.csdn.net/haluoluo211/article/details/78177510?locationNum=2&fps=1&utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_title~default-0.essearch_pc_relevant&spm=1001.2101.3001.4242

https://www.bilibili.com/video/BV1Nt411i7oD?from=search&seid=4603953531395093043