k-近邻算法（KNN）

编程初丁

于 2018-08-06 19:10:34 发布

阅读量293

点赞数

分类专栏：机器学习算法学习笔记

本文链接：https://blog.csdn.net/u010842515/article/details/81459342

版权

K-近邻算法是一种基于实例的学习，通过比较新数据与样本集中已有数据的特征来确定新数据的分类。在KNN中，通常选取不超过20的k个最近邻数据，其分类标签出现最多者即为新数据的分类。本文介绍了KNN的工作原理，并提供了一段使用Python3.x实现KNN的代码，涉及欧氏距离、矩阵操作等概念。

摘要由CSDN通过智能技术生成

工作原理：

存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征醉相思数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是K-近邻算法中k的出处，通常K是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

实现代码：

（注：本代码采用python3.x环境，距离算法采用欧氏距离）

from numpy import *
import operator

def createDataSet():
    group = array([[1.0, 1.1],
                   [1.0, 1.0],
                   [0, 0],
                   [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis = 1)
    distances = sqDistances ** 0.5