Datawhale 基础算法 Task3

信息论基础（熵，联合熵，条件熵，信息增益和基尼不纯度）
决策树的不同分类算法（ID3算法，C4.5和CART分类树）的原理及应用场景
回归树原理
决策树防止过拟合手段

1. 信息论基础（熵，联合熵，条件熵，信息增益和基尼不纯度）

2. 决策树的不同分类算法（ID3算法，C4.5和CART分类树）的原理及应用场景

• ID3算法
  
  从上面的算法过程我们可以看出，其本质就是在不停地选择当前未被选中的特征中，最为重要的特征作为划分样本空间的依据，当信息增益达不到阈值或没有可用的样本了，决策树的递归过程也就结束了。

• C4.5
  C4.5算法与ID3算法很相似，C4.5算法是对ID3算法做了改进，在生成决策树过程中采用信息增益比来选择特征。

• CART分类树
  ID3中根据属性值分割数据，之后该特征不会再起作用，这种快速切割的方式会影响算法的准确率。CART是一棵二叉树，采用二元切分法，每次把数据切成两份，分别进入左子树、右子树。而且每个非叶子节点都有两个孩子，所以CART的叶子节点比非叶子多1。相比ID3和C4.5，CART应用要多一些，既可以用于分类也可以用于回归。CART分类时，使用基尼指数（Gini）来选择最好的数据分割的特征，gini描述的是纯度，与信息熵的含义相似。CART中每一次迭代都会降低GINI系数。当CART是分类树时，采用GINI值作为节点分裂的依据；当CART是回归树时，采用样本的最小方差作为节点分裂的依据。下图显示信息熵增益的一半，Gini指数，分类误差率三种评价指标非常接近。回归时使用均方差作为loss function。基尼系数的计算与信息熵增益的方式非常类似，公式如下
  
  
  3. 回归树原理
  提到决策树算法，很多想到的就是上面提到的ID3、C4.5、CART分类决策树。其实决策树分为分类树和回归树，前者用于分类，如晴天/阴天/雨天、用户性别、邮件是否是垃圾邮件，后者用于预测实数值，如明天的温度、用户的年龄等。
  回归树总体流程类似于分类树，不过在每个节点（不一定是叶子节点）都会得一个预测值，以年龄为例，该预测值等于属于这个节点的所有人年龄的平均值。分枝时穷举每一个feature的每个阈值找最好的分割点，但衡量最好的标准不再是最大熵，而是最小化均方差–即（每个人的年龄-预测年龄）^2 的总和 / N，或者说是每个人的预测误差平方和 除以 N。这很好理解，被预测出错的人数越多，错的越离谱，均方差就越大，通过最小化均方差能够找到最靠谱的分枝依据。分枝直到每个叶子节点上人的年龄都唯一（这太难了）或者达到预设的终止条件（如叶子个数上限），若最终叶子节点上人的年龄不唯一，则以该节点上所有人的平均年龄做为该叶子节点的预测年龄。

4. 决策树防止过拟合手段
随着模型训练的进行，模型的复杂度会增加，此时模型在训练数据集上的训练误差会逐渐减小，但是在模型的复杂度达到一定程度时，模型在验证集上的误差反而随着模型的复杂度增加而增大。此时便发生了过拟合，即模型的复杂度升高，但是该模型在除训练集之外的数据集上却不work。
为了防止过拟合，我们需要用到一些方法，如：early stopping、数据集扩增（Data augmentation）、正则化（Regularization）、Dropout等。

• early stopping
  对模型进行训练的过程即是对模型的参数进行学习更新的过程，这个参数学习的过程往往会用到一些迭代方法，如梯度下降（Gradient descent）学习算法。Early stopping便是一种迭代次数（epochs）截断的方法来防止过拟合，即在模型对训练数据集迭代收敛之前停止迭代来防止过拟合。

• 数据集扩增
  得到更多的符合要求的数据，即和已有的数据是独立同分布的，或者近似独立同分布的。

• 正则化
  正则化方法是指在进行目标函数或代价函数优化时，在目标函数或代价函数后面加上一个正则项

• Dropout
  Dropout方法是通过修改ANN中隐藏层的神经元个数来防止ANN的过拟合。

详情参考：https://blog.csdn.net/zhang_shuai12/article/details/52578239