KNN算法

一.KNN简介

KNN 算法，或者称 k-最近邻算法，是 有监督学习 中的 分类算法 。它可以用于分类或回归问题，但它通常用作分类算法。

二.KNN理解

knn算法主要是寻找距离待预测点距离最近的k个临近点，以k个临近点中哪个类别最多，则将待预测点归为哪个类别。

其中knn算法主要难点在于k值的选取与距离的选择。

其中对于距离的选择主要方法有

1. 闵可夫斯基距离
2. 曼哈顿距离
3. 欧氏距离
4. 切比雪夫距离
5. 余弦距离

 对于k值的选择主要采取的方法是交叉验证和网格搜索，因为

• 如果选择一个较小的K值（如1或3），模型可能会对噪声敏感，导致过拟合。
• 如果选择一个较大的K值，模型可能会对决策边界产生平滑的效果，可能会导致欠拟合。

 三.KNN算法实例

import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score


# 加载鸢尾花数据集
data = load_iris()
X = data.data
y = data.target

sns.scatterplot(x=X[:, 0], y=X[:, 1], hue=y, palette="Set1", marker='o')
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
plt.title("Scatter Plot of Iris Dataset")
plt.show()

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建KNN分类器
knn_classifier = KNeighborsClassifier(n_neighbors=3)

knn_classifier.fit(X_train, y_train)

y_pred = knn_classifier.predict(X_test)

accuracy = accuracy_score(y_test, y_pred)
print("KNN模型的准确性：", accuracy)