KD树与决策树

KD树是提高K近邻法计算效率的一种手段，类似二叉查找树。不过二叉查找树中的数据是一维的，而K近邻的训练样本往往是多维的。所以，在建树的过程中，需要进行特征维度的选择。合理的方式是，每轮递归选择方差最大的特征S作为区分标准，以S的中位数作为根节点。这样能保证寻找最近邻的快速性，构建出均衡的二叉树。

决策树是一种可以直接用来分类的树形结构，这是和KD树单单是为了快速找到最近邻的最大不同。决策树的特征选择，使用了信息论里熵和条件熵的概念，最开始用信息增益（即熵与条件熵之差，信息论里也叫互信息）作为特征S，后来改进为了信息增益比。KD树在建树的过程中会重复使用各维特征，最后树的叶节点最多只会有一个样本；而决策树一般每维度特征只会被用一次，最后树的叶节点就代表类别。还有，决策树建立后往往要剪枝，防止过拟合。而K近邻法是否过拟合和KD树无关，只和K相关（K越小，越容易过拟合）。