cart算法_决策树算法之CART算法

一、CART算法概念

分类回归树(CART,Classification And Regression Tree)也属于一种决策树。分类回归树是一棵二叉树，且每一个非叶子节点都有两个枝杈，一般而言对于第一棵子树其叶子节点数比非叶子节点数多1。使用基尼系数作为分类标准，离散、连续数据均可，适用于分类树，回归树。

二、CART算法原则

决策树生长的核心是确定决策树的分枝准则。

1 怎样从众多的属性变量中选择一个当前的最佳分支变量，也就是选择能使异质性下降最快的变量。其中异质性的度量：GINI、TWOING和least squared deviation(前两种主要针对分类型变量，LSD针对连续性变量)。

2 怎样从分支变量的众多取值中找到一个当前的最佳切割点(切割阈值)。对于数值型变量，对记录的值从小到大排序，计算每一个值作为临界点产生的子节点的异质性统计量。可以使异质性减小程度最大的临界值便是最佳的划分点；对于分类型变量，列出划分为两个子集的全部可能组合。计算每种组合下生成子节点的异质性。相同。找到使异质性减小程度最大的组合作为最佳划分点。

在决策树的每个节点上我们能够按任一个属性的任一个值进行划分，有3个标准能够用来衡量划分的好坏：GINI指数、双化指数、有序双化指数。

3 终止条件是一个节点产生左右枝杈后，递归地对左右枝杈进行划分就可以产生分类回归树。那么先给出终止条件，在终止时候节点就能