数据挖掘算法一:K近邻原理及python实现

1 原理

1.1 绪论

k近邻算法(k-nearest neighbor, k-NN)是一种基本分类与回归方法,多用于分类。其输入为实例的特征向量,对应于特征空间中的点;输出为实例的类别,可以取多类。k近邻算法1968年由Cover和Hart提出。

1.2 算法思想

k近邻算法思想可分为三步:
1)算距离,给定待分类样本,计算它与已知类别样本中每个样本点的距离;
2)找近邻,圈定与待分类样本距离最近的k个已分类样本作为待分类近邻;
3)做分类,通过多数表决(根据这k个近邻中的大部分样本所属的类别来决定待分类样本属于哪个类)等方式进行分类。
综上,k值的原则、距离度量及分类决策规则是k近邻算法的三个基本要素。

1.3 k值选择

k值选择会对k近邻的结果产生重大影响。
如果选择较小的k值,就相当于用较小的邻域中的训练实例进行预测,“学习”的偏差减小,方差增大,预测结果会对近邻的实例点非常敏感,如果近邻的实例点恰巧是噪声,预测就会出错。因此k值减小,模型会变得复杂,容易陷入过拟合。
如果选择较大的k值,就相当于用较大的邻域中的训练实例进行预测,“学习”的偏差增大,方差减小,这时与输入实例较远的(不相似)的训练实例也会对预测起作用,是预测发生错误。因此k值增大,模型变得简单,欠拟合。
在应用中,k值的选择一般取一个较小的值。通常采用交叉验证法来选取最优的k值。

1.4 距离度量

特征空间中的两个实例的距离是两个实例点相似程度的反应。k近邻算法一般选用欧氏距离。

1.5 分类决策规则

k近邻中的分类决策规则往往是多数表决,即由输入实例的k个近邻的训练实列中的多数类决定输入实例的类。

2 Python实现

这里使用Python中的机器学习库sklearn实现k近邻。数据选择鸢尾花数据集。其中from sklearn.model_selection import train_test_split为切分数据集模块;from sklearn.preprocessing import StandardScaler为数据标准化模块,对数据特征进行归一化处理,针对每一个特征维度进行去均值和方差归一化。

from sklearn.neighbors import KNeighborsClassifier
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

dataset = datasets.load_iris()  # 导入数据集
values = dataset.data
lables = dataset.target
X_train, X_test, y_train, y_test = train_test_split(values, lables, test_size=0.25)  # 切分数据集为训练集和测试集

# 特征归一化处理
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.fit_transform(X_test)

# 训练模型并进行预测,这里k值为默认值5
knn = KNeighborsClassifier()
knn.fit(X_train, y_train)
score = knn.score(X_test, y_test)
print(score)

最终模型预测结果为92.10%,效果较好(数据集较为简单)

3 k近邻算法优缺点

优点:算法简单,易于理解,只需参数估计,无需进行训练;
缺点:属于懒惰算法,对测试样本分类时计算量大,内存开销大。k需要不断调整达到最优。
适用于小数据场景,几千~几万的数据量适用。

  • 1
    点赞
  • 5
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页
评论

打赏作者

木铎一心

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值