K近邻算法

目录：
一、特点
二、相关概念
三、数据归一化
四、K邻近算法的实现

一、特点
（1）思想极度简单
（2）应用数学知识少
（3）效果好
（4）可以解释机器学习算法使用过程中的很多细节问题
（5）更完整的刻画机器学习应用的流程

二、相关概念
1、欧拉距离：

2、曼哈顿距离：

3、明可夫斯基距离（p是一个超参数）：

4、
（1）K近邻算法是非常特殊的，可以被认为是没有模型的算法。
（2）为了和其他算法统一，可以认为训练数据集就是模型本身。

5、、分类的准确度：accuracy
6、、
（1）超参数：在算法运行前需要决定的参数
（2）模型参数：算法过程中学习的参数
（3）KNN算法没有模型参数
（4）KNN算法中的K 就是典型的超参数

三、数据归一化
（1）最值归一化：把所有数据映射到0-1之间

（2）最值归一化适用于分布有明显边界的情况，受outlier（边界）影响较大
（3）均值方差归一化：把所有数据归一到均值为0方差为1 的分布中

（4）均值方差归一化适用于分布没有明显边界的情况，即可能存在极端数据值

四、K邻近算法的实现

import numpy as np
import matplotlib.pyplot as plt
from math import sqrt
from collections import Counter

raw_data_x=[[3.393533211, 2.331273381],
            [3.110073483, 1.781539638],
            [1.343808831, 3.368360954],
            [3.582294042, 4.679179110],
            [2.280362439, 2.866990263],
            [7.423436942, 4.969522875],
            [5.745051997, 3.533989803],
            [9.172168622, 2.511101045],
            [7.792783481, 3.424088941],
            [7.939820817, 0.791637231]
           ]
raw_data_y=[0,0,0,0,0,1,1,1,1,1]

x_train=np.array(raw_data_x)
y_train=np.array(raw_data_y)
X=np.array([8.093607318,3.365731514])

#绘制散点图
plt.scatter(x_train[y_train==0,0],x_train[y_train==0,1],color='g')
plt.scatter(x_train[y_train==1,0],x_train[y_train==1,1],color='r')
plt.scatter(X[0],X[1],color='b')
plt.show()


#找到最邻近的点
distances=[sqrt(np.sum((x_train-X)**2)) for x_train in x_train]
nearest=np.argsort(distances)
k=6
topk_y=[y_train[i] for i in nearest[:k]]

#计算不同点的个数
votes=Counter(topk_y)
#找到票数最多的点
votes.most_common(1)
#找到预测的值
predict_y=votes.most_common(1)[0][0]

学习视频链接:http://www.bilibili.com/video/av38792500?p=1&share_medium=android&share_source=qq&bbid=XY6BEEE61E1082EABBEE1D8AC8BE9CD4145DC&ts=1554540103391