1.了解KNN算法的基本原理：K近邻（K-Nearest Neighbors）算法是一种非常基础的分类算法，通过找到最近的K个邻居进行投票判断，从而确定新样本的分类。2.掌握KNN算法的实现方法：

一、实验目的

1.了解KNN算法的基本原理：K近邻（K-Nearest Neighbors）算法是一种非常基础的分类算法，通过找到最近的K个邻居进行投票判断，从而确定新样本的分类。 2.掌握KNN算法的实现方法：在实验中需要使用编程语言（如Python）实现KNN算法的代码，了解算法实现的各个步骤，包括数据准备、计算相似度、选出最优的K值等。 3.测试算法性能：在实验中，需要使用数据集进行模型训练，并测试算法的预测性能，包括准确率、召回率等指标。 4.探究参数影响：在实验中还可以探究KNN算法的参数（如K值）对算法性能的影响，比较不同参数下的算法性能，帮助深入了解算法的特点和适用情况。

二、实验环境

Pycharm

三、实验内容

1、实验原理 KNN（K-Nearest-Neighbors）是一种基本的分类模型，其核心思想是根据样本之间的距离，将距离相近的样本归为同一类。KNN算法根据邻居的数量进行分类或回归，K代表邻居的数量。在分类问题中，对于一个新样本，KNN算法从训练数据集中选取K个距离最近的样本点，根据这K个样本点的标签进行投票，将投票得到最多的标签作为该新样本的预测标签。 以下是KNN算法的Python代码示例： ``` python import numpy as np from collections import Counter class KNN: def init(self, k=3): self.k = k def fit(self, X, y):     self.X_train = X     self.y_train = y def predict(self, X):     predicted_labels = []     for sample in X:         distances = []         for x_train in self.X_train:             distance = np.sqrt(np.sum((x_train - sample) ** 2))             distances.append(distance)         k_nearest_indices = np.argsort(distances)[:self.k]         k_nearest_labels = [self.y_train[i] for i in k_nearest_indices]         most_common = Counter(k_nearest_labels).most_common(1)         predicted_labels.append(most_common[0][0])     return predicted_labels ``` 以上是基础的KNN分类算法实现，其中： k 参数指定了 K 值。 fit 方法接受样本和标签，并进行训练。 predict 方法接受测试数据并返回预测标签。 实现中使用的是欧式距离算法，K近邻搜索使用 numpy.argsort 函数。 2、相似度计算方法 KNN算法的核心是计算样本之间的距离或相似度。常用的相似度计算方法包括欧几里得距离、曼哈顿距离、余弦相似度等。欧几里得距离是计算两个样本点在n维空间中的直线距离，曼哈顿距离是计算两个样本点在n维空间中的曼哈顿距离，余弦相似度是计算两个样本特征向量的余弦值。 3、组合方式 KNN算法中，可以选择不同的组合方式来计算相似度或距离。一种常用的组合方式是加权平均法，即对于每个特征进行权重赋值，根据权重计算样本之间的距离。另一种组合方式是使用局部加权，即对于每个测试样本，根据距离远近赋予不同的权重，距离近的样本权重大，距离远的样本权重小。 4、K值选择 KNN算法中，选取合适的K值是决定分类准确率的重要因素。K值较小可能会造成过拟合，而K值较大可能会造成欠拟合。一种常用的方法是采用交叉验证，在训练集中划分出一个验证集进行模型训练和选择K值。 5、完整实验流程 数据集说明：我们使用Iris（鸢尾花）数据集，该数据集包含150个样本，4个特征，分为3类鸢尾花，每类50个样本。 距离函数：我们采用欧几里得距离和曼哈顿距离来计算样本之间的距离。 K值确定：我们采用交叉验证方法来选择K值，将数据集分为5份，每次选取其中一份作为验证集，剩下的作为训练集，分别尝试K值从1到10，计算模型在验证集上的准确率，最终选择准确率最高的K值。 6、模型评价 我们使用准确率来评估模型的表现，对于正确分类的样本数占总样本数的比例，即为模型的准确率。

四．实验总结 KNN分类模型是一种基本的分类算法，其原理简单易于理解，实现也较为简单。在实践中，我们需要注意选择合适的距离函数和K值，避免过拟合和欠拟合问题。同时，KNN算法的效率较低，对于大规模数据集的分类问题，需要考虑使用其他高效的分类算法。