前面几篇博客对knn算法进行了学习,这里对该算法做个小结。
1. 一些问题
- KNN的优点和缺点分别是什么?
- 不同属性的值域大小不同(如有的跨度为500,而有的跨度为0.1),会导致什么问题,应如何解决?
- KNN算法的时间复杂度是多少?
- 用什么办法可以降低其时间复杂度?
2. KNN算法优缺点
优点
- 简单易用,比较容易理解:与其他算法相比,knn比较简洁明了,容易搞清楚其原理;
- 精度高、对异常值不敏感、无数据输入假定
- 预测效果不错
缺点 - 计算复杂度高(对高维数据计算量很大,预测阶段可能很慢)
- 空间复杂度高(对内存要求高,该算法存储了所有训练数据)
3. KNN-数据归一化处理
不同属性的值域大小不同(如有的跨度为500,而有的跨度为0.1),这会使得在计算距离的时候,值域跨度大的属性对结果的影响更大,会弱化值域跨度小的属性对结果的影响。解决的办法是对数据进行归一化处理,即将所有数据映射到同一维度。具体方法可参考此篇博客:数据归一化
4. KNN算法时间复杂度
对于具有k维特征的N个样本,对一个样本预测需要的时间复杂度为O(KN),对n个样本预测的时间复杂度就为O(KN*n)
那么我们怎么降低时间复杂度呢?
- 减少样本的数目,选择代表点;
- 降低维度:若样本的属性太多,去掉那些对分类结果影响不大的属性;
- 利用KD树降低时间复杂度