机器学习之KNN算法

 KNN 算法，或者称 k最邻近算法，是 有监督学习 中的 分类算法 。它可以用于分类或回归问题，但它通常用作分类算法。

一、KNN算法的原理：

找到K个与新数据最近的样本，取样本中最多的一个类别作为新数据的类别。

二、算法思想：

对于任意n维输入向量，分别对应于特征空间中的一个点，输出为该特征向量所对应的类别标签或预测值。

三、K值的选择

KNN算法中，K值的选择直接影响到最终模型的效果，K越小越容易过拟合，K越大越容易欠拟合，另外在选取时最好选取奇数，防止出现随机选择的情况。

此处扩展过拟合与欠拟合的概念：
欠拟合：模型在训练集上无法获取足够的筛选条件，也就是说没法学习到数据背后的规律

过拟合：模型在训练集和测试集上表现差距过大，只能呆板识别数据集固定特征，泛化能力差。

四、算法的优缺点：

优点

1.简单易实现

2.对于边界不规则的数据效果较好

缺点：

1.只适合小数据集。预测新数据需要使用全部数据集，耗费时间和算力

2.数据不平衡效果不好。

3.必须要做数据标准化。

4.不适合特征维度过多的数据。

五、鸢尾花数据集KNN算法演示

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import numpy as np


# 读取鸢尾花数据 load_iris()鸢尾花数据集
data = load_iris()
x = data['data']
y = data['target']
# 划分训练集和数据集 test_size表示测试集的大小按比例划分
# array是列表，数组，矩阵或是pandas数据框
# random_state随机数的种子若为none生成的数据随机，为整数每次生成的数据都相同
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=0)

# 模型训练
# KNeighborsClassifier()是sklearn中的KNN算法函数，n_neighbors代表K值
model = KNeighborsClassifier(n_neighbors=3)
# model.fit()将训练数据在模型中训练一定次数
# 返回一个History的对象，即记录了loss和其他指标的数值随epoch变化的情况
model.fit(x_train, y_train)

# #模型预测,输入测试集,输出预测结果
y_pred = model.predict(x_test)

# 模型评估
# 统计数组中非零元素的个数，计算预测正确率
correct_pred = np.count_nonzero(y_pred == y_test)
accuracy = correct_pred / len(y_test)
print("准确率为：" + str(accuracy))