机器学习接口和代码之 KNN

官网地址：https://scikit-learn.org/stable/modules/classes.html#module-sklearn.neighbors 

class sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights=’uniform’, 
			algorithm=’auto’, leaf_size=30, 
			p=2, metric=’minkowski’, 
			metric_params=None, 
			n_jobs=None, **kwargs)

参数：
    n_neighbors ： int，optional(default = 5)
    默认情况下kneighbors查询使用的邻居数。就是k-NN的k的值，选取最近的k个点。

    weights ： str或callable，可选(默认=‘uniform’)
    默认是uniform，参数可以是uniform、distance，也可以是用户自己定义的函数。uniform是均等的权重，就说所有的邻近点的权重都是相等的。distance是不均等的权重，距离近的点比距离远的点的影响大。用户自定义的函数，接收距离的数组，返回一组维数相同的权重。

    algorithm ： {‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选
    快速k近邻搜索算法，默认参数为auto，可以理解为算法自己决定合适的搜索算法。除此之外，用户也可以自己指定搜索算法ball_tree、kd_tree、brute方法进行搜索，brute是蛮力搜索，也就是线性扫描，当训练集很大时，计算非常耗时。kd_tree，构造kd树存储数据以便对其进行快速检索的树形数据结构，kd树也就是数据结构中的二叉树。以中值切分构造的树，每个结点是一个超矩形，在维数小于20时效率高。ball tree是为了克服kd树高纬失效而发明的，其构造过程是以质心C和半径r分割样本空间，每个节点是一个超球体。

    leaf_size ： int，optional(默认值= 30)
    默认是30，这个是构造的kd树和ball树的大小。这个值的设置会影响树构建的速度和搜索速度，同样也影响着存储树所需的内存大小。需要根据问题的性质选择最优的大小。

    p ： 整数，可选(默认= 2)
    距离度量公式。这个参数默认为2，也就是默认使用欧式距离公式进行距离度量。也可以设置为1，使用曼哈顿距离公式进行距离度量。

    metric ： 字符串或可调用，默认为’minkowski’
    用于距离度量，默认度量是minkowski，也就是p=2的欧氏距离(欧几里德度量)。联合 上述P 使用

    metric_params ： dict，optional(默认=None)
    距离公式的其他关键参数，这个可以不管，使用默认的None即可。

    n_jobs ： int或None，可选(默认=None)
    并行处理设置。默认为1，临近点搜索并行工作数。如果为-1，那么CPU的所有cores都用于并行工作。

方法名及含义

• fit(X, y)使用X作为训练数据，y作为目标值（类似于标签）来拟合模型。
• get_params([deep])获取估值器的参数。
• kneighbors([X, n_neighbors, return_distance])查找一个或几个点的K个邻居。
• kneighbors_graph([X, n_neighbors, mode])计算在X数组中每个点的k邻居的（权重）图。
• predict(X)给提供的数据预测对应的标签。
• predict_proba(X)返回测试数据X的概率估值。
• score(X, y[, sample_weight])返回给定测试数据和标签的平均准确值。
• set_params(**params)设置估值器的参数。

示例一：鸢尾花数据分类

import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd
import warnings

import sklearn
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier#KNN
from sklearn.preprocessing import label_binarize
from sklearn import metrics

## 设置字符集，防止中文乱码
mpl.rcParams['font.sans-serif']=[u'simHei']
mpl.rcParams['axes.unicode_minus']=False

## 数据加载
path = "datas/iris.data"
names = ['sepal length', 'sepal width', 'petal length', 'petal width', 'cla']
df = pd.read_csv(path, header=None, names=names)
print(df['cla'].value_counts())
print(df.head())

def parseRecord(record):
    r = zip(names,record)
    for name,v in r:
        if name == 'cla':
            if v == 'Iris-setosa':
                record['cla'] = 1
            elif v == 'Iris-versicolor':
                record['cla'] = 2
            elif v == 'Iris-virginica':
                record['cla'] = 3
            else:
                record['cla'] = np.nan
    return record


### 1. 数据转换为数字以及分割
## 数据转换
datas = df.apply(lambda r: parseRecord(r), axis=1)
## 异常数据删除
datas = datas.dropna(how='any')
## 数据分割
print(datas)
print(datas.shape)
X = datas[names[0:-2]]
Y = datas[names[-1]]
## 数据抽样(训练数据和测试数据分割)
X_train,X_test,Y_train,Y_test = train_test_split(X, Y, test_size=0.4, random_state=0)

print ("原始数据条数:%d；训练数据条数:%d；特征个数:%d；测试样本条数:%d" % (len(X), len(X_train), X_train.shape[1], X_test.shape[0]))

##### KNN算法实现
# a. 模型构建
# 模型中介绍的K值：n_neighbors
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, Y_train)

# b. 模型效果输出
## 将正确的数据转换为矩阵形式
y_test_hot = label_binarize(Y_test,classes=(1,2,3))
## 得到预测属于某个类别的概率值
knn_y_score = knn.predict_proba(X_test)
## 计算roc的值
knn_fpr, knn_tpr, knn_threasholds = metrics.roc_curve(y_test_hot.ravel(),knn_y_score.ravel())
## 计算auc的值
knn_auc = metrics.auc(knn_fpr, knn_tpr)
print ("KNN算法R值：", knn.score(X_train, Y_train))
print ("KNN算法AUC值：", knn_auc)

# c. 模型预测
knn_y_predict = knn.predict(X_test)

## 画图2：预测结果画图
x_test_len = range(len(X_test))
plt.figure(figsize=(12, 9), facecolor='w')
plt.ylim(0.5,3.5)
plt.plot(x_test_len, Y_test, 'ro',markersize = 6, zorder=3, label=u'真实值')
plt.plot(x_test_len, knn_y_predict, 'yo', markersize = 16, zorder=1, label=u'KNN算法预测值,$R^2$=%.3f' % knn.score(X_test, Y_test))
plt.legend(loc = 'lower right')
plt.xlabel(u'数据编号', fontsize=18)
plt.ylabel(u'种类', fontsize=18)
plt.title(u'鸢尾花数据分类', fontsize=20)
plt.show()