吃瓜有感-机器学习西瓜书摘要3

学习周志华老师《机器学习》西瓜书第4章决策树摘要及笔记。

第4章 决策树

      决策树是类似于编程中一系列If Else中的判断操作，其基本思想是实现一种分而治之的处理策略。划分的策略主要是“信息增益”，“信息增益率”，“基尼指数”等。信息增益的代表算法是ID3决策树算法，信息增益准则对可取值数目较多的属性有所偏好，为减少此类影响，C4.5决策树算法使用“信息增益率”选择最优划分属性，而CART决策树使用“基尼指数”选择划分属性。

        为防止决策树处理过程中产生“过拟合”，可以实施剪枝处理，基本策略有“预剪枝”和“后剪枝”，预剪枝是在决策树生成的过程中进行结点划分前的估计，以决策树泛化性能的提升为依据决定是否停止划分的依据；后剪枝则先生成完整的决策树，然后自底向上对非叶子结点进行再次考察处理，还是以决策树的性能提升为依据判断是否将此子树替换为叶结点。

        在决策树中经常用到连续值属性，一般采用二分法进行对连续属性离散化处理。缺失值的处理方式则是一般将同一样本按不同的概率划入到不同的子结点中。

        “多变量决策树”用于解决真实分类边界比较复杂时，多段划分才能较好近似的情况。它不为每个非叶子结点寻找一个最优划分属性，而是对属性的线性组合进行测试，试图建立一个合适的线性分类器，试图达到一个很好的决策分类效果。