机器学习学 - 监督学习 - 多项式回归与决策树回归

机器学习学习笔记 - 监督学习 - 多项式回归与决策树回归

一、多项式回归

多项式回归是线性回归的一种扩展，用于处理样本特征与样本值之间存在非线性关系的情况。当数据之间的关系并非简单的线性关系时，线性回归可能无法得到很好的拟合效果。此时，可以考虑使用多项式回归，通过引入特征的高次项（如平方项、立方项等）来增加模型的复杂度，以捕获数据中的非线性变化。

多项式回归的原理是假定样本特征与观测值之间呈现非线性关系，例如 y = ax^3 + bx^2 + cx + d。在实际应用中，需要确定多项式的阶数，即特征的最高次幂。阶数过高可能导致过拟合，而阶数过低可能无法充分捕获数据的非线性关系。因此，选择合适的阶数是一个重要的步骤。

多项式回归的实现通常包括三个步骤：多项式处理、归一化处理和线性回归。多项式处理是将原始特征转换为多项式特征，归一化处理是为了消除不同特征之间的量纲差异，最后通过线性回归模型来拟合数据。为了简化操作，可以使用工具如sklearn中的PolynomialFeatures来进行多项式特征的构建。

二、决策树回归

决策树回归是决策树算法在回归问题中的应用。与分类问题不同，回归问题的目标变量是连续的数值。决策树回归通过构建一个树形结构来预测目标变量的值。

在决策树回归中，每个内部节点表示一个特征上的判断条件，每个分支代表一个判断结果的输出，每个叶子节点代表一个预测值。构建决策树的过程是通过递归地将空间划分为多个不重叠的区域，每个区域对应一个预测值。预测值通常是根据该区域内样本的平均值或中位数得出的。

为了处理大量的划分空间，决策树回归常使用递归二分法来简化划分过程。递归二分法意味着树的每次分裂都是以二叉树的形式进行。这种方法有助于减少计算量，提高模型的效率。

需要注意的是，决策树回归可能会出现过拟合的问题。为了解决这个问题，可以通过剪枝技术来简化模型，降低过拟合的风险。此外，还可以通过调整模型的复杂度来控制过拟合与欠拟合之间的平衡。

总结：

多项式回归和决策树回归都是监督学习中用于处理回归问题的有效方法。多项式回归通过引入特征的高次项来捕获数据中的非线性关系，适用于特征与目标变量之间存在复杂关系的情况。决策树回归则通过构建树形结构来进行预测，具有直观易懂、易于实现等优点。在实际应用中，可以根据问题的特点和数据的性质来选择合适的回归方法。