knn小结

前面几篇博客对knn算法进行了学习，这里对该算法做个小结。

1. 一些问题

• KNN的优点和缺点分别是什么？
• 不同属性的值域大小不同（如有的跨度为500，而有的跨度为0.1），会导致什么问题，应如何解决？
• KNN算法的时间复杂度是多少？
• 用什么办法可以降低其时间复杂度？

2. KNN算法优缺点

      优点

• 简单易用，比较容易理解：与其他算法相比，knn比较简洁明了，容易搞清楚其原理；
• 精度高、对异常值不敏感、无数据输入假定
• 预测效果不错
   缺点
• 计算复杂度高（对高维数据计算量很大，预测阶段可能很慢）
• 空间复杂度高（对内存要求高，该算法存储了所有训练数据）

3. KNN-数据归一化处理

     不同属性的值域大小不同（如有的跨度为500，而有的跨度为0.1），这会使得在计算距离的时候，值域跨度大的属性对结果的影响更大，会弱化值域跨度小的属性对结果的影响。解决的办法是对数据进行归一化处理，即将所有数据映射到同一维度。具体方法可参考此篇博客：数据归一化

4. KNN算法时间复杂度

     对于具有k维特征的N个样本，对一个样本预测需要的时间复杂度为O(KN)，对n个样本预测的时间复杂度就为O(KN*n)
     那么我们怎么降低时间复杂度呢？

• 减少样本的数目，选择代表点；
• 降低维度：若样本的属性太多，去掉那些对分类结果影响不大的属性；
• 利用KD树降低时间复杂度