KNN算法(K近邻算法)

KNN三要素:
1.K值得选取
1.1K值得选取值一般较小,通常使用交叉验证获取K值.
2.距离的度量
2.1距离的度量有以下几种:
① 欧氏距离 (https://img-blog.csdnimg.cn/20190627175652650.png)
②曼哈顿距离(https://img-blog.csdnimg.cn/20190627175729544.png)
③上确界距离(https://img-blog.csdnimg.cn/20190627175759453.png)
3.分类规则:
①投票表决(少数服从多数)
②加权投票法:根据距离的远近,对K个近邻的投票进行加权,距离越近权重越大(比如权重为距离的倒数)

KNN算法的优缺点:
优点: 1.简单,易于理解和容易实现
2.通过对K值得选择可具备丢失噪音数据的健壮性
缺点: 1.当数据样本分布不均衡时,容易选择样本数较大的类
2.需要大量的存储空间来存储所有已知实例
3.算法复杂度高(需要计算已知实例和所有分类的实例)