机器学习：K-近邻算法对鸢尾花数据进行分类预测

K-近邻算法 KNN

定义：如果一个样本在特征空间中的k个最相似（即特征空间中最近邻）
的样本中的大多数属于某一个类别，则改样本也属于这个类别

计算距离：欧式距离
z = sqrt((x1-x2)^2 + (y1-y2)^2)

相似样本，特征之间的值应该都是相近的
需要做标准化处理

k的取值
k较小 容易受异常点影响
k较大 容易受k值数量波动

优点
简单，易于实现，无需估计参数，无需训练

缺点
懒惰算法，计算量较大，内存开销大
必须指定k值，k值选择不当则分类精度不能保证

使用场景
小数据场景，几千-几万

代码示例

# -*- coding: utf-8 -*-

from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
import matplotlib.pyplot as plt

# 查看数据集, 4个特征，分3类
iris = load_iris()

print(iris.feature_names)
print(iris.data[:5])
print(iris.target_names)
print(iris.target[:5])
print(iris.DESCR)
"""
['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']
[[5.1 3.5 1.4 0.2]
 [4.9 3.  1.4 0.2]
 [4.7 3.2 1.3 0.2]
 [4.6 3.1 1.5 0.2]
 [5.  3.6 1.4 0.2]]
 
['setosa' 'versicolor' 'virginica']
[0 0 0 0 0]
"""

# 训练集测试集拆分 3-7开
X_train, X_test, y_train, y_test = train_test_split(
    iris.data, iris.target, test_size=0.33, random_state=42)

# K-近邻算法训练数据
knn = KNeighborsClassifier(n_neighbors=15)
knn.fit(X_train, y_train)
print(knn.score(X_test, y_test))

# 绘制n_neighbors取值与score的关系
x = [1, 2, 3, 5, 10, 15, 20, 30, 40, 50, 80, 100]
y = [0.98, 0.98, 0.98, 0.98, 0.98, 1.0, 1.0, 1.0, 0.94, 0.92, 0.3, 0.3]

plt.plot(x, y)

plt.xlabel("n_neighbors")
plt.ylabel("score")
plt.savefig("n_neighbors", dpi=600)

观察数据和图像，发现n_neighbors取值[15, 30]之间，得分为100%，较为理想