懒惰学习——使用近邻分类(KNN)

本文介绍了KNN算法,包括其优点和缺点。通过案例详细演示了如何使用KNN算法诊断乳腺癌,从数据收集、探索、预处理到模型训练和评估。在数据准备阶段进行了min-max标准化和z-score标准化,并通过调整k值来提高模型性能。最终模型正确率为98%。
摘要由CSDN通过智能技术生成

KNN算法

优点:

简单有效;对数据的分布没有要求;训练阶段很快。

缺点:

不产生模型,在发现特征之间的关系上的能力有限;分类阶段很慢;需要大量的内存;名义变量(特征)和缺失数据需要额外处理。

之所以被称为懒惰学习算法,是因为从技术上说,没有抽象化的步骤。抽象过程与一般过程都被跳跃过去了。由于高度依赖训练案例,所以懒惰学习又称为机械学习。机械学习不会建立一个模型,所以该方法被归类为非参数学习方法。

案例用KNN算法诊断乳腺癌

第一步——收集数据

数据来源于UCI机器学习数据仓库的“威斯康星乳腺癌诊断”(Brest Cancer Wisconsin Diagnostic)数据集,网址:http://archive.ics.uci.edu/ml/

数据集包括569个细胞活检案例,每个案例32个特征。一个特征是识别号,一个特征是诊断结果,其他30个特征是数值型测量结果,诊断结果用“M”表示恶性,“B”表示良性。

第二步——探索和准备数据

首先导入CSV文件:

wbcd<-read.csv("wisc_bc_data.csv",header=F)

第一个变量信息id不能提供有用信息,所以删除:

wbcd<-wbcd[-1]

使用table函数查看恶性和良性肿瘤个数:

table(wbcd$V2)

  B   M 
357 212 

许多R机器学习分类器要求将目标属性编码为因子变量,所以重新编码wbcd的第一列,同时用labels参数对B值和M值给出更多信息:

K近邻算法是一种简单易用的机器学习算法,它可以用于分类和回归问题。在分类问题中,K近邻算法通过计算待分类样本与训练集中每个样本的距离,找到距离待分类样本最近的K个样本,然后根据这K个样本的类别进行投票,将待分类样本归为票数最多的类别。在回归问题中,K近邻算法通过计算待预测样本与训练集中每个样本的距离,找到距离待预测样本最近的K个样本,然后根据这K个样本的值进行加权平均,得到待预测样本的预测值。 下面是一个使用K近邻算法进行乳腺癌检测分类的示例代码: ```python import pandas as pd from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score # 读取数据集 data = pd.read_csv("breast_cancer.csv") # 将类别变量转换为数值变量 data['diagnosis'] = data['diagnosis'].map({'M': 1, 'B': 0}) # 将特征变量和类别变量分开 X = data.drop(['diagnosis'], axis=1) y = data['diagnosis'] # 将数据集分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0) # 创建K近邻分类knn = KNeighborsClassifier(n_neighbors=5) # 训练K近邻分类knn.fit(X_train, y_train) # 在测试集上进行预测 y_pred = knn.predict(X_test) # 计算预测准确率 accuracy = accuracy_score(y_test, y_pred) print("预测准确率:", accuracy) ``` 上述代码使用了sklearn库中的KNeighborsClassifier类来创建K近邻分类器,并使用accuracy_score函数计算预测准确率。需要注意的是,K近邻算法对数据的缩放敏感,因此在使用K近邻算法之前,通常需要对数据进行缩放处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值