机器学习--k近邻算法

一、k-近邻算法的基本原理
对于未知类别属性数据集中的点：
（1）计算已知类别数据集中的每个点与当前点之间的距离；
使用欧式距离公式，计算两个向量点xA和xB之间的距离公式如下：
（2）按照距离递增次序排序；
（3）选取与当前点距离最小的k个点；
（4）确定前k个点所在类别的出现频率；
（5）返回前k个点出现频率最高的类别作为当前点的预测分类。
二、k-近邻算法的三要素
k值的选择、距离度量、分类决策规则
三、k-近邻算法的评价

1. 优点
   （1）k-近邻算法是分类数据最简单最有效的算法，它是一种lazy-learning算法；
   （2）分类器不需要使用训练集进行训练，训练时间复杂度为0。
2. 缺点
   （1）计算复杂度高、空间复杂度高：kNN分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么kNN的分类时间复杂度为O(n)；
   （2）耗内存：必须保存全部的数据集，如果训练数据集很大，必须使用大量的存储空间；
   （3）耗时间：必须 对数据集中的每一个数据计算距离值，实际使用时可能非常耗时；
   （4）无法给出任何数据的基础结构信息（数据的内在含义），这是k-近邻算法最大的缺点。
   四、k-近邻算法的问题及解决方案
   问题1：当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的k个邻居中大容量类的样本占多数。
   解决：不同样本给予不同的权重项
   问题2：数字差值最大的属性对计算结果的影响最大
   解决：在处理不同取值范围的特征值时，通常采用的方法是将数值归一化，如将取值范围处理为0到1或者-1到1之间。
   
   

from sklearn.datasets import load_iris
from sklearn.model_selection import  train_test_split
from sklearn.preprocessing import  StandardScaler
from sklearn.neighbors import KNeighborsClassifier

def knn_iris():
    #获取数据
    iris  = load_iris()
    #划分数据集
    x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=22)
    #特征工程:标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)
    #KNN算法预估器
    estimator = KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_train,y_train)
    #模型评估
    #方法1：直接比对真实值和预测值
    y_predict = estimator.predict(x_test)
    print("y_predict:\n",y_predict)
    print("直接比对真实值和预测值:\n",y_test == y_predict)
    #方法2:计算准确率
    score = estimator.score(x_test,y_test)
    print("准确率为:\n",score)
    return None

if __name__ == '__main__':
    knn_iris()