决策树之CART算法

在之前介绍过决策树的ID3算法实现，今天主要来介绍决策树的另一种实现，即CART算法。

 

Contents

 

   1. CART算法的认识

   2. CART算法的原理

   3. CART算法的实现

 

 

1. CART算法的认识

 

   Classification And Regression Tree，即分类回归树算法，简称CART算法，它是决策树的一种实现，通

   常决策树主要有三种实现，分别是ID3算法，CART算法和C4.5算法。

 

   CART算法是一种二分递归分割技术，把当前样本划分为两个子样本，使得生成的每个非叶子结点都有两个分支，

   因此CART算法生成的决策树是结构简洁的二叉树。由于CART算法构成的是一个二叉树，它在每一步的决策时只能

   是“是”或者“否”，即使一个feature有多个取值，也是把数据分为两部分。在CART算法中主要分为两个步骤

 

   （1）将样本递归划分进行建树过程

   （2）用验证数据进行剪枝

 

 

2. CART算法的原理

 

   上面说到了CART算法分为两个过程，其中第一个过程进行递归建立二叉树，那么它是如何进行划分的 ？

 

   设代表单个样本的个属性，表示所属类别。CART算法通过递归的方式将