非线性分类——决策树

今天我们来讲非线性分类器。

为什么要使用非线性分类器呢？因为有时候数据未必是线性可分的。
常见的非线性方法有：

• 线性扩展的思想
• 线性扩展模型。即把非线性数据通过一个非线性转换，变为新的数据分布，并且这些数据符合线性分布。这样就可以使用线性方法进行分类处理。
• 核函数方法。
  

2.非线性的思想

• 最近邻
• k近邻
• 决策树
• 神经网络
• 集成学习

决策树

决策树的目标：产生一棵泛化能力强的决策树。
决策树的基本流程符合分而治之(divide-and-conquer)策略。它的生成是一个递归过程。

一棵决策树包含一个根节点、若干内部节点和若干叶节点。叶节点对应决策结果。

决策树的关键是如何选择最优划分属性，也即如何设置问题。一般而言，随着划分过程不断进行，我们希望决策树的分支结点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。