AI-统计学习（7）-决策树模型-“概念表格”到”树”再到”数学表达式”-全过程详解

决策树是种可视化的模型，可做分类也可做回归。

比如我知道一组人的信息：年龄、是否有工作、是否有房贷…这叫特征值，现在再来一些人，这时我想能否贷款给他。我该怎么做呢，就可以用决策树模型实现。左边是数据，右边是树。当然这棵树没有把全部的特征向量放进去只是示意了一下。

 

    

图1

   2那如何建树。其实就是如何选择根结点、内部结点、叶节点、判别生成子结点。 换句话说就是如何选择特征、如何避免过拟合。

3.特征值选择 三个指标

     3.1熵

     3.2信息增益

     3.3信息增益比

4.根据这三个特征值指标的选取原则 形成ID3算法和C4.5算法 算法与步骤。

5.剪枝，防止过拟合。分先剪枝和后剪枝。算法与步骤。

 6.CART算法 针对二叉树 基尼系数

---

概念是要变成符号和数学表达式才会被计算机理解的，下面就是各种转换和数学算法的表述。

2根结点、内部结点、叶节点、判别生成子结点。

             

              

3.特征值选择 三个指标

      我建树，选年龄、有工作、还是有房子做结点？哪个是根结点，哪个子节点，我怎么选呢？三个评价指标。

  3.1熵

      

示例：

       

 

3.2信息增益

          

图1的示例

           

            

               但这样选是有缺点的，所以引出了下面信息增益比的概念。

3.3信息增益比

               

4.根据这三个指标形成的ID3算法和C4.5算法

4.1ID3算法 特征选择 两种准则，ID3是信息增益，C4.5是信息增益比。步骤一样

   书上的文字：

  

我的理解：

  输入：D A，阈值

  输出：树T

  步骤：1.同一类

        2.无分类

        3.信息增益计算

         4.信息增益计算<阈值

         5.分割子集

          6.递归调用1-5

5.剪枝，防止过拟合。分先剪枝和后剪枝。

    

  后剪枝算法步骤：

6.CART算法 针对二叉树 基尼系

      

       

 

总结：看懂这些示例后应该可以把“概念表格’转换成”树”再转换成”数学表达式”了。有了数学表达式，就可以写代码了实现了。