机器学习算法原理--回归决策树

回归决策树的原理与决策树的差不多，回归决策树实际上就是用于回归的决策树，阐述原理时，区别在于特征选择方法和输出。

一、回归决策树的原理

1、基本概念

回归决策树是机器学习领域中用于预测连续数值型目标变量的一种非参数有监督学习方法。与分类决策树类似，它通过递归地选择最优特征进行数据集的分割，但其目的是最小化预测目标的残差平方和（RSS）或其他回归损失函数，而不是最大化信息增益或减小基尼不纯度。最终形成的“树”结构中的每个叶节点代表一个预测值，即该区域数据目标变量的平均值或使用其他回归方法估计的值。

2、构建步骤

特征选择：

在回归决策树中，特征选择的标准通常关注于如何分割数据能最大程度减少预测误差，如均方误差减少（MSE reduction）、最小二乘法误差、最小化RSS等。算法寻找最佳分割点，使分割后各子集的目标变量值的差异最小化。

树的生长：

基于选定的特征，数据被分割成子集，再在各个子集重复特征选择以及数据分割这个过程，直至满足停止条件，比如节点中的样本属于同一类别、达到预设深度、子集大小低于某个阈值等。

剪枝：

为防止过拟合，决策树通常需要剪枝。预剪枝在树生成过程中提前停止分裂，而后剪枝则先生成完整的树再回溯去掉一些子树。

3、优缺点

优势：

易于理解和解释；可以同时处理离散和连续特征；能够自动进行特征选择。

局限性：

容易过拟合，尤其是面对高维数据或复杂决策边界时；对于噪声较大的数据敏感；剪枝策略的选择影响模型性能；不稳定，修改其中一个参数也有可能导致整个决策树发生较大变化。

二、补充知识点

1、信息增益 (Information Gain)

a) 定义：

信息增益是指在使用某一特征进行数据集划分前后，数据集熵的变化量。熵是数据集中混乱程度或不确定性的一种度量，熵越大表示不确定性越高。信息增益反映了使用某个特征进行分类后，不确定性减少的程度。

b) 计算公式：

设数据集D的熵为H(D)，特征A将数据集D划分为若干子集{D_1, D_2, …, D_n}，则特征A的信息增益IG(A)为原始熵H(D)减去各子集熵的加权平均：
𝐼𝐺(𝐴)=𝐻(𝐷)−∑𝑖=1𝑛∣𝐷𝑖∣∣𝐷∣⋅𝐻(𝐷𝑖)IG(A)=H(D)−i=1∑n∣D∣∣Di∣⋅H(Di)
其中，|D|是数据集D的样本数，|D_i|是第i个子集的样本数。

2、信息增益比 (Information Gain Ratio)

a) 定义：

信息增益比是对信息增益的一种修正，旨在解决信息增益偏好具有大量值的特征的问题。它通过除以特征的固有值的熵（也就是特征本身的不确定性），来对信息增益进行规范化。

b) 计算公式：

𝐼𝐺_𝑅(𝐴)=𝐼𝐺(𝐴)𝐻𝐴IG_R(A)=HAIG(A)
其中，𝐻𝐴HA是特征A的熵，表示特征A本身包含的信息量。特征熵计算为各取值的概率乘以其熵的和。 信息增益比可以看作是信息增益相对于特征自身不确定性的一个比率，这样可以避免信息增益倾向于选择取值多的特征的缺陷。