机器学习算法原理--决策树

一、决策树的原理

1、基本概念

决策树是机器学习里面基本的分类和回归算法，是一种非参数的有监督学习方法。它通过自上而下的递归方式，将特征空间划分为多个矩形区域，每个区域对应一个输出值（类别或数值），从而形成一棵“树”结构。

2、构建步骤

特征选择：

算法首先选择一个最优特征进行分割。常用的特征选择标准包括信息增益（ID3算法）、信息增益比（C4.5算法）、基尼不纯度（CART算法）等。目标是找到使得数据集划分后“纯度”提升最大的特征。

树的生长：

基于选定的特征，数据被分割成子集，再在各个子集重复特征选择以及数据分割这个过程，直至满足停止条件，比如节点中的样本属于同一类别、达到预设深度、子集大小低于某个阈值等。

剪枝：

为防止过拟合，决策树通常需要剪枝。预剪枝在树生成过程中提前停止分裂，而后剪枝则先生成完整的树再回溯去掉一些子树。

3、优缺点

优势：

易于理解和解释；可以同时处理离散和连续特征；能够自动进行特征选择。

局限性：

容易过拟合，尤其是面对高维数据或复杂决策边界时；对于噪声较大的数据敏感；剪枝策略的选择影响模型性能；不稳定，修改其中一个参数也有可能导致整个决策树发生较大变化。

二、补充知识点

1、信息增益 (Information Gain)

a) 定义：

信息增益是指在使用某一特征进行数据集划分前后，数据集熵的变化量。熵是数据集中混乱程度或不确定性的一种度量，熵越大表示不确定性越高。信息增益反映了使用某个特征进行分类后，不确定性减少的程度。

b) 计算公式：

设数据集D的熵为H(D)，特征A将数据集D划分为若干子集{D_1, D_2, …, D_n}，则特征A的信息增益IG(A)为原始熵H(D)减去各子集熵的加权平均：
𝐼𝐺(𝐴)=𝐻(𝐷)−∑𝑖=1𝑛∣𝐷𝑖∣∣𝐷∣⋅𝐻(𝐷𝑖)IG(A)=H(D)−i=1∑n∣D∣∣Di∣⋅H(Di)
其中，|D|是数据集D的样本数，|D_i|是第i个子集的样本数。

2、信息增益比 (Information Gain Ratio)

a) 定义：

信息增益比是对信息增益的一种修正，旨在解决信息增益偏好具有大量值的特征的问题。它通过除以特征的固有值的熵（也就是特征本身的不确定性），来对信息增益进行规范化。

b) 计算公式：

𝐼𝐺_𝑅(𝐴)=𝐼𝐺(𝐴)𝐻𝐴IG_R(A)=HAIG(A)
其中，𝐻𝐴HA是特征A的熵，表示特征A本身包含的信息量。特征熵计算为各取值的概率乘以其熵的和。 信息增益比可以看作是信息增益相对于特征自身不确定性的一个比率，这样可以避免信息增益倾向于选择取值多的特征的缺陷。