什么是KNN?
KNN算法是没有学习过程的。它将所有已知数据存储起来,当要预测某一新数据时,使用某种距离度量选择离该新数据在特种空间中最近的K个点,根据分类决策规则,一般是多数投票规则对新数据进行分类。
怎样构造KNN:
1) 距离度量
LP距离。在P=1时是曼哈顿距离,P=2时是欧式距离,P为无穷大时是切比雪夫距离。也可以自己定义距离。
2)K值选择
K只选择太小,容易过拟合。K选择过大,近似误差变大。
常用的方法是从k=1开始,使用检验集估计分类器的误差率。重复该过程,每次K增值1,允许增加一个近邻。选取产生最小误差率的K。
一般k的取值不超过20,上限是n的开方,随着数据集的增大,K的值也要增大。
3)样本特征做归一化处理??(why?)
如果一个特征值域范围非常大,那么距离计算就主要取决于这个特征,从而与实际情况相悖(比如这时实际情况是值域范围小的特征更重要)。归一化可以提高预测精度。
归一化的方法
最值归一化:将所有数据映射到同一尺度;这种方式受异常值影响比较大;适用于有明显边界的情况;
x = x-xmin /xmax - xmin
均值方差归一化:另处理好的数据正态分布
怎么对测试集进行归一化:
使用训练集归一化的scaler对测试集进行处理
两种的区别不清楚
4)所有特征要做可比较的量化(why?,不明白)
若是样本特征中存在非数值的类型,必须采取手段将其量化为数值。例如样本特征中包含颜色,可通过将颜色转换为灰度值来实现距离计算。
优点和缺点:
KNN算法是最简单有效的分类算法,简单且容易实现。当训练数据集很大时,需要大量的存储空间,而且需要计算待测样本和训练数据集中所有样本的距离,所以非常耗时。
KNN对于随机分布的数据集分类效果较差,对于类内间距小,类间间距大的数据集分类效果好,而且对于边界不规则的数据效果好于线性分类器。
KNN对于样本不均衡的数据效果不好,需要进行改进。改进的方法时对k个近邻数据赋予权重,比如距离测试样本越近,权重越大。(不懂,是加权?)
KNN很耗时,时间复杂度为O(n),一般适用于样本数较少的数据集,当数据量大时,可以将数据以树的形式呈现,能提高速度,常用的有kd-tree和ball-tree。
多分类问题中,KNN比SVM要好。(看了SVM再来说明为什么)