机器学习-KNN算法

定义
有监督
分类、回归
算法原理
物以类聚人以群分
输入一个样本点，计算所有样本到该样本点的欧式距离，取前k个进行决策
三个要素
欧式距离 判断类别远近
k值，选择方式
过小 受噪音影响
多大 收到其他样本影响
超参数计算，找最优得分方式
决策方式
分类
投票法
带权投票法
回归
求均值
带权求均值
优点、缺点
算法思想简单
惰性学习，计算量大
KD树，占用大量内存，计算快
不会受噪音影响
样本不平衡的时候，对稀有类别的预测准确率低