KNN算法
1.定义
在模式识别中,k-邻近算法(k-nn)是用于分类和回归的非参数方法。所谓K邻近,就是k个最近的邻居,意思是每个样本都可以用它最接近的k个邻居来代表。
2.k-nn核心思想
knn算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。(给定一个待分类数据,通过距离计算得到离它最近的k个样本,由k个样本投票决定待分类数据归为哪一类—”少数服从多数“)
3.算法流程
计算样本数据和待分类数据的距离。
选择k个与待分类数据距离最近的样本。
统计出k个样本中大多数样本所属的分类,将该类记作category。
待分类数据属于category。
4.算法优缺点
(1)优点
简单,易理解,易实现。
适合对稀有事件进行分类。
- 适合多分类问题(multi-modal,对象有多个类别标签),k-nn比svm更合适。
(2)缺点
当样本不平衡时,如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的K个邻居中大容量类的样本占多数。 该算法只计算“最近的”邻居样本,某一类的样本数量很大,那么或者这类样本并不接近目标样本,或者这类样本很靠近目标样本。无论怎样,数量并不能影响运行结果。
计算量较大,因为对每一个待分类的文本都要计算它到全体已知样本的距离,才能求得它的K个最近邻点。
鸢尾花数据集为例讲述k-nn算法
from sklean import datasets,neighbors
iris = datasets.load_iris()
X = iris.data
y = iris.target
kn_clf = neighbors.KNeighborsClassifier()
kn_clf.fit(X,y)
kn_y = kn_clf.predict(X)
print(kn_y)
print(y)
accuracy_knn = (kn_y == y).astype(int).mean()
print(accuracy_knn)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
kn_y 和 y的输出结果:
准确率accuracy_knn:
鸢尾