决策树学习笔记Part_A

决策树学习PART_A

决策树是比赛与工作常用的分类预测算法，主要应用在二分类问题，该模型主要包含三种算法思想：分别是ID3、C4.5、CART算法

为了更好理解决策树，首先需要引入知识：
信息熵、条件熵(条件概率、联合分布)

信息熵

信息熵：热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。
简单理解就是度量信息的混乱程度，从概率上理解就是在一个样本空间理，随机进行一次抽样，我有可能抽到不同样本的情况多，就说明该样本空间不同的样本类别多，对应的是这个空间信息混乱程度高，信息熵大。

• 数学度量
  信息熵主要作用就是为了度量混乱度，所以引入自信息
  

ID3(信息增益)算法思想

信息熵越大，从而样本纯度越低。
ID3 算法的核心思想就是以信息增益来度量特征选择，选择信息增益最大(可以简单理解为信息熵下降最快)的特征进行分裂。
其大致步骤为：

1. 初始化特征集合和数据集合；计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当前决策节点；
   
2. 更新数据集合和特征集合（删除被选用的特征，并按照特征值来划分不同分支的数据集合）；
3. 重复 2，3两步，若子集值包含单一特征，则为分支叶子节点。

ID3算法简单易懂，但存在一个值得思考的问题在于：
假定有一个特征，它的值为唯一值，同时对应这唯一的类别(n对n)，这时候会导致决策树只要使用这个特征，就能得到最好的分类，但明显这不是我们想要的结果，所以有了C4.5算法的出现。

C4.5(信息增益率)算法思想

主要引进了对于解决某些特征过多取值，从而该特征进行计算信息增益偏高，导致信息增益偏向此类特征的问题；

$H_A(D)$可以简单理解为属性A取值数目越多，该值就会越大；需要注意的是，增益率则可能偏好于取值数目较少的特征，所以C4.5常用的是：先从信息增益取出高于平均水平的属性，再通过信息增益率选择最终的划分特征。

CART(基尼系数)算法思想

该算法主要优化计算，信息增益、信息增益率都含有对数运算；而且CART算法可以构建分类树与回归树(MSE\MAE)

• gini系数(基尼指数代表了模型的不纯度，基尼系数越小，不纯度越低，特征越好)
  
  个人理解：样本空间中随机抽取两个样本，这两个样本不一致的概率，如果概率很大，说明分出来的样本空间不纯度较高。

模型泛化及过拟合问题

如果对于上面三种算法进行迭代划分数据集，不进行相应的惩罚机制，无限制地划分，最终结果都会用上所有可以使用的特征，最后得出的分类数据集有可能数量很少，虽然很纯，但对于学习任务来说，其泛化能力将大幅度下降，只能完美适配训练数据。

所以针对这样的问题，决策树主要有两种优化方法：预剪枝与后剪枝；

1. 预剪枝
   在学习任务中，有训练集与验证集，每一次进行特征划分产生的子树，可以通过验证集对本次子树的节点进行评估，如果精度有提升则基于该叶子节点进行下一步的划分，如果没有提升则终止该节点的划分。
2. 后剪枝(MCCP过程)
   后剪枝则是先进行树的生成，从最深的子树进行遍历，比较将子树替换为叶子节点，精度是否有提升，如果有提升则替换为叶子节点，减少树的深度，从而简化模型，增加其泛化能力。

心得体会

主要是记录自己学习的过程，进一步梳理自己对决策树的认识，从度量信息混乱程度的信息熵开始，到决策树3个核心算法的理解，算法之间层层递进，解决与优化相应的问题；更深刻地认识到算法与数学之间的联系，数学理解的底层架构，所有的形象化解释都是严谨的数学推理，涉及期望、条件分布、联合分布、数学求解等方法，希望自己能继续坚持！