机器学习笔记-KNN

1、KNN(最近邻规则分类)

理论参考：https://blog.csdn.net/weixin_45014385/article/details/123618841?spm=1001.2014.3001.5502

KNN(K Nearest Neighbors)算法的核心思想是，如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法在类别决策时，只与极少量的相邻样本有关。由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为适合。

KNN算法样本类型的选择与K的选取相关。

2、欧氏距离：

KNN在计算两个样本之间的距离时，才用的是欧式距离的方法。

3、K的选取

k的选取一般为单数，若为双数则有可能不能区分开类别。

4、算法缺点

算法复杂度高。当样本分布不平衡时，比如其中异类样本过大（实例数量过多）占主导的时候，新的未知实例容易被归类为这个主导样本，因为这类样本实例的数量过大，但这个新的未知实例实际并没有接近目标样本

5、KNN实现-lris数据集

鸢尾花数据集：

数据属性：萼片长度(sepal length)，萼片宽度(sepal width)，花瓣长度(petal length)，花瓣宽度(petal width)。

类别：丝质鸢尾花(setosa),鸢尾花(versicolor),弗吉尼亚鸢尾(virginica)

导入包和数据集：

# 导入算法包以及数据集
from sklearn import neighbors
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import random

导入数据：

iris=datasets.load_iris()

切分数据和构建模型：

#打乱数据集
#打乱数据
data_size=iris.data.shape[0]
index=[i for i in range(data_size)]
random.shuffle(index)
iris.data=iris.data[index]
iris.target=iris.target[index]
#切分数据集
test_size=40
x_train=iris.data[test_size:]
x_test=iris.data[:test_size]
y_train=iris.target[test_size:]
y_test=iris.target[:test_size]

#构建模型
model=neighbors.KNeighborsClassifier(n_neighbors=3)
#训练数据
model.fit(x_train,y_train)
prediction=model.predict(x_test)
print(classification_report(y_test,prediction))

参考视频：https://www.bilibili.com/video/BV1Rt411q7WJ?p=41&vd_source=166e4ef02c5e9ffa3f01c2406aec1508