机器学习算法之KNN分类算法【附python实现代码！可运行】

一、简介

在机器学习中，KNN（k-Nearest Neighbors）分类算法是一种简单且有效的监督学习算法，主要用于分类问题。KNN算法的基本思想是：在特征空间中，如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法是一种基于实例的学习，或者说是局部逼近和将所有计算推迟到分类之后进行的惰性学习。

二、算法原理

KNN算法的主要步骤如下：

1. 计算距离：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例（邻居）。这里的“邻近”通常是通过计算距离来确定的，常用的距离度量方式包括欧氏距离、曼哈顿距离、余弦距离等。
2. 确定类别：根据这k个邻居的类别信息，通过多数投票法等方式进行预测。也就是说，选择k个邻居中出现次数最多的类别作为预测结果。(少数服从多数)

三、优缺点

KNN算法的优点包括：

1. 思想简单，易于理解和实现。
2. 对异常值不敏感，因为只与少数几个最近的邻居有关。
3. 适用于多分类问题。
4. 由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。

然而，KNN算法也存在一些缺点：

1. 计算量大，特别是对于大规模数据集，计算每个新实例与所有训练实例的距离可能需要很长时间。
2. 需要存储整个训练数据集，以便对新实例进行分类。因此，如果训练数据集很大，可能需要大量的存储空间。
3. 对k值的选择敏感。k值选择过小可能导致过拟合，选择过大可能导致欠拟合。
4. 当样本分布不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。

四、python代码实现（案例）

在python代码中，使用scikit-learn库中的鸢尾花（Iris）数据集，这是一个包含三个类别（Setosa、Versicolour、Virginica）和四个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）的经典数据集。

import matplotlib.pyplot as plt  # 导入matplotlib库用于绘图  
import numpy as np  # 导入numpy库用于数值计算  
from sklearn import datasets  # 导入sklearn库中的datasets模块用于加载数据集  
from sklearn.model_selection import train_test_split  # 导入train_test_split函数用于划分数据集  
from sklearn.preprocessing import StandardScaler  # 导入StandardScaler类用于数据标准化  
from sklearn.neighbors import KNeighborsClassifier  # 导入KNeighborsClassifier类用于创建KNN分类器  
from sklearn.metrics import classification_report, confusion_matrix  # 导入分类报告和混淆矩阵计算函数  
  
# 加载鸢尾花数据集  
iris = datasets.load_iris()  # 加载鸢尾花数据集  
X = iris.data  # 获取特征数据  
y = iris.target  # 获取标签数据  
  
# 数据集分割为训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)  # 划分数据集为80%的训练集和20%的测试集  
  
# 数据标准化  
scaler = StandardScaler()  # 创建一个StandardScaler对象  
X_train_scaled = scaler.fit_transform(X_train)  # 对训练集进行标准化处理  
X_test_scaled = scaler.transform(X_test)  # 对测试集进行标准化处理，使用训练集得到的均值和标准差  
  
# 初始化KNN分类器并训练（使用所有四个特征）  
knn = KNeighborsClassifier(n_neighbors=3)  # 创建一个KNN分类器对象，设置邻居数为3  
knn.fit(X_train_scaled, y_train)  # 使用训练集数据训练KNN分类器  
  
# 使用测试集进行预测  
y_pred = knn.predict(X_test_scaled)  # 使用训练好的KNN分类器对测试集进行预测  
  
# 打印分类报告和混淆矩阵  
print(classification_report(y_test, y_pred))  # 打印分类报告，包括精确度、召回率、F1值等  
print(confusion_matrix(y_test, y_pred))  # 打印混淆矩阵，展示各类别的分类情况  
  
# 可视化结果（只选择两个特征进行二维可视化）  
# 这里我们选择花瓣长度和花瓣宽度作为特征  
# 注意：由于数据已经标准化，所以这里的可视化主要是为了展示分类效果，而不是真实的花瓣长度和宽度  
plt.scatter(X_test_scaled[y_test == 0, 2], X_test_scaled[y_test == 0, 3], label='Setosa', alpha=0.8)  # 绘制Setosa类别的散点图  
plt.scatter(X_test_scaled[y_test == 1, 2], X_test_scaled[y_test == 1, 3], label='Versicolour', alpha=0.8)  # 绘制Versicolour类别的散点图  
plt.scatter(X_test_scaled[y_test == 2, 2], X_test_scaled[y_test == 2, 3], label='Virginica', alpha=0.8)  # 绘制Virginica类别的散点图  
  
# 添加图例和轴标签  
plt.xlabel('Petal length (scaled)')  # 这里的'Petal length'是标准化的花瓣长度  
plt.ylabel('Petal width (scaled)')  # 这里的'Petal width'是标准化的花瓣宽度  
plt.legend()  # 添加图例  
plt.show()  # 显示图像  
  
# 保存图像  
plt.savefig('knn_iris_visualization.png')  # 将图像保存为'knn_iris_visualization.png'文件

以上代码需要以下环境包，如果没有可以先行安装

pip install numpy matplotlib scikit-learn

实验结果

结果可视化

五、应用与总结

KNN算法在各个领域都有广泛的应用，包括但不限于图像识别、文本分类、推荐系统等。例如，在图像识别中，可以使用KNN算法来识别手写数字、人脸等；在文本分类中，可以使用KNN算法来对新闻、评论等进行分类。KNN分类算法是一种简单而有效的机器学习算法，它通过计算新实例与训练数据集中实例的距离来进行分类。虽然它存在一些缺点，但在许多情况下仍然是一种很好的选择。

版权声明

本博客内容仅供学习交流，转载请注明出处。