分类算法-K近邻算法(KNN)

K近邻算法(KNN)
定义：
如果一个样本在特征空间中的K个最相似的样本中的大多数属于某个类别，则该样本也属于这个类别。最相似即特征空间中的最近邻。
相似度度量：
欧式距离：即计算法每个特征之间的距离，计算公式如下：

算法直观理解：
在已有样本中找到与当前样本距离最近的k个样本，然后以者k个样本的类别进行投票，看当前样本属于哪个类别。

算法评价
优点：
简单，易理解和实现，无需估计参数，无需训练
缺点：
算法开销随数据量增大而增大，且k值为超参数，需手动调整
sklearn k近邻API

from sklearn.neighbors import KNeighborsClassifier
# 预测实例
from sklearn import datasets
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.preprocessing import StandardScaler
def knn_classifier():
    """加载数据集"""
    data = datasets.load_iris()
    """划分数据集"""
    x_train,x_test,y_train,y_test = train_test_split(\
    							data.data,data.target,test_size=0.25)
    """特征工程"""
    # 标准化
    sds = StandardScaler()
    x_train = sds.fit_transform(x_train)
    x_test = sds.transform(x_test)
    """估计器"""
    
    knn = KNeighborsClassifier(n_neighbors=3)
    knn.fit(x_train,y_train)
    print("准确率={0:.2f}".format(knn.score(x_test,y_test)))
    print(data.target_names[knn.predict([[5,4,3,2]])])
    """
    # 交叉验证和网格搜索
    knn = KNeighborsClassifier()
    gc = GridSearchCV(knn,param_grid={"n_neighbors":[1,3,5,7,9]},cv=10)
    gc.fit(x_train,y_train)
    print("准确率：",gc.score(x_test,y_test))
    print("最高准确率：",gc.best_score_)
    print("最好模型：",gc.best_estimator_)
    print("交叉验证结果：",gc.cv_results_)
    """