机器学习——K近邻算法

一、引言

K近邻算法（K-Nearest Neighbors，简称KNN）是一种常用的分类和回归算法。它基于实例之间的距离度量来进行分类或预测，是一种非参数化（没有对数据做出具体假设）的监督学习方法。

二、算法原理

1.原理

KNN算法基于一个假设：相似的样本在特征空间中有相似的类别或值。因此，对于一个新的未知样本，可以通过测量其与训练集中所有样本之间的距离，找到K个最近邻居，然后通过多数投票或平均值来确定其分类或数值。

2.基本概念

特征空间：样本的特征被表示为一个特征向量，并构成一个多维空间，称为特征空间。
训练集：由已知类别或值的样本组成，用于训练KNN模型。
测试样本：待分类或预测的样本。
距离度量：用于度量样本之间的相似性或距离。常用的距离度量方法包括欧氏距离、曼哈顿距离、余弦相似度等。
K值：KNN算法中的K值是指选择几个最近邻居。K值的选择会影响算法的分类或预测结果。

三、实现步骤

1.数据准备：

本次实验用的是Wine数据集，包含了来自三个不同来源（类别）的葡萄酒的化学分析结果。每个样本具有多个特征。目标变量为类别标签，表示葡萄酒的来源。

# 导入load_wine函数，用于加载wine数据集
from sklearn.datasets import load_wine

# 使用load_wine函数加载wine数据集，并将其保存到变量wine中
wine = load_wine()

# 将wine数据集的特征和目标值分别保存到变量X和y中
X, y = wine.data, wine.target

2.距离度量：

假设有两个样本A和B，它们的特征向量分别为A = (x1, y1) 和 B = (x2, y2)

1.欧式距离计算公式

d(A,B) = 

2.曼哈顿距离公式

d(A,B) = 

3.K值选择

K值的选择是KNN算法中一个重要的参数，它会影响算法的分类或预测结果。
如果选择较小的K值，模型会更加敏感和灵活，可能会引入噪声或异常样本的影响。
如果选择较大的K值，模型会更加稳定和平滑，但可能会忽略一些细节特征。

4.分类或预测

        对于分类问题：
                1.对于每个待分类样本，计算它与所有训练集样本之间的距离。
                2.根据距离的大小，选择K个最近邻居。
                3.统计K个最近邻居每个类别的数量，确定待分类样本所属类别。
                4.输出分类结果。
        对于回归问题：
                1.对于每个待预测样本，计算它与所有训练集样本之间的距离。
                2.根据距离的大小，选择K个最近邻居。
                3.取K个最近邻居的数值平均值，作为待预测样本的预测值。
                4.输出预测结果。

5.调参和评估：

 对选择的K值进行调参，可以采用交叉验证等方法来选取最优的K值。
使用评估指标（如准确率、F1分数等）对模型进行评估和改进。

四、代码实现

import numpy as np
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score

# 1. 数据预处理
wine = load_wine()
X, y = wine.data, wine.target

# 2. 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 3. 训练模型
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)

# 4. 预测和评估
y_pred = knn.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print("模型在测试集上的准确率为: {:.2f}%".format(accuracy * 100))

五、实验结果

模型在测试集上的准确率为74.07%，这意味着模型在给定的测试数据中能够正确预测的样本比例为74.07%，它衡量了模型对于整体样本的分类或预测正确的程度。

六、总结

本次实验的模型能够对测试集中的数据做出正确的预测的比例为74.07%，意味着模型已经学会了测试集中大部分数据的规律。KNN算法是一种简单、灵活且易于理解的机器学习算法。虽然具有一些限制，但在适用条件下，KNN算法可以产生良好的分类和回归结果。对于小规模数据集，KNN算法表现良好。它能够捕捉到数据中的局部特征，因此在数据集较小且类别之间较为明显的情况下，KNN算法可以取得不错的分类效果。