机器学习笔记——KNN算法（1）

 

KNN基本思想

KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

以书上例子，我们可以使用k-近邻算法分类一个电影是爱情片还是动作片。

代码实现

knn.py

from numpy import *
import operator as op
# 原始训练集
def createDataSet():
    group = array([[1, 101], [5, 89], [108, 5], [115, 8]])
    labels = ['爱情片', '爱情片', '动作片', '动作片']
    return group, labels

def classify0(intX, dataSet, labels, k):
    # intX是测试的用例，dataset训练集，labels是训练集对应的标签，k是用于选择最近邻的数目
    dataSetSize = dataSet.shape[0]
    # 用欧式距离公式进行距离计算
    diffMat = tile(intX, (dataSetSize,1)) - dataSet   # numpy.tile进行数组的重复生成
    sqdiffMat = diffMat**2
    sqDistances = sqdiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()  # 返回的是数组值从小到大的索引值
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=op.itemgetter(1), reverse=True)
    # python3中函数为：items(),python2中函数为：iteritems()
    return sortedClassCount[0][0]

test.py

import knn
group,labels=knn.createDataSet()
print(knn.classify0([101, 20], group, labels, 3))

输出结果：

 k-近邻算法之对鸢尾花分类

import numpy as np
from sklearn.neighbors import KNeighborsClassifier
from sklearn import datasets
iris = datasets.load_iris()
#print(iris)
X = iris['data']
Y = iris['target']
#print(X.shape)
index = np.arange(150)
np.random.shuffle(index)#打乱顺序
#print(index)
X_train,X_test = X[index[:100]],X[index[100:]]#留50个预测
Y_train,Y_test = Y[index[:100]],Y[index[100:]]#留50个预测
knn = KNeighborsClassifier(n_neighbors=5)

knn.fit(X_train,Y_train)
#.astype('int')
result_ = knn.score(X_test, Y_test)#(测试数据，标签)
print('预测准确度:')
print(result_)

对kNN算法的伪代码：

1.采用load_iris读取数据并查看 

2.分割数据，产生三分之二的训练样本，三分之一的测试样本，100个作为训练集，50个作为测试集

3.标准化数据

4.导入K近邻分类模块