DecisionTreeRegressor（）作用详解

作用

用于构建回归树模型。回归树是基于决策树算法的一种模型，用于解决回归问题，即预测连续型变量的值。

DecisionTreeRegressor()类的主要作用是通过输入的训练数据，构建一个回归树模型，然后可以使用该模型对新的数据进行预测。它使用了以信息增益或基尼系数为准则的分裂策略来生成树，并对节点的最优划分进行决策。具体而言，DecisionTreeRegressor()类可以实现以下功能：

拟合训练数据： 通过调用fit(X, y)方法，其中X是训练样本的特征矩阵，y是对应的目标值（标签），来拟合（训练）回归树模型。
预测新数据： 通过调用predict(X)方法，其中X是测试样本的特征矩阵，来进行预测。该方法会返回根据训练好的模型对新数据的预测值。
可视化树结构： 通过调用export_graphviz()方法，可以将生成的回归树模型可视化为图形，以便更好地理解和解释模型的决策过程。
控制树结构：可以通过设置类的参数来控制生成树模型的行为，比如最大深度、最小拆分样本数等。这可以帮助优化模型的性能和泛化能力。

回归树模型在许多领域中都有应用，如房价预测、销售量预测等。DecisionTreeRegressor()类提供了一个简单易用的接口，用于构建和应用回归树模型，并且可以方便地与scikit-learn中的其他模型和工具进行整合和使用。

DecisionTreeRegressor()类的一些常用参数：

1.criterion：决策树划分的准则，默认为"mse"（均方误差）。其他可选值包括"friedman_mse"（Friedman均方误差）和"mae"（平均绝对误差）。

2.splitter：决策树分裂策略，默认为"best"（最优分裂）。其他可选值包括"random"（随机分裂），在寻找最佳特征时随机选择某些特征。

3.max_depth：决策树的最大深度，限制树的生长，默认为None，表示不限制最大深度。

4.min_samples_split：划分内部节点所需的最小样本数，默认为2。如果节点的样本数少于min_samples_split，则不再继续划分。

5.min_samples_leaf：叶节点所需的最小样本数，默认为1。如果划分导致任一叶节点的样本数少于min_samples_leaf，则un相关的划分将被取消，或者其所有样本都分配到父节点。

6.min_weight_fraction_leaf：叶节点所需的最小加权分数，默认为0。如果指定了sample_weight，则样本的权重等于sample_weight，否则所有样本的权重相等。

7.max_features：寻找最佳划分时考虑的特征数量，默认为None，表示考虑所有特征。可以选择一部分特征，比如"sqrt"（考虑平方根个特征）或"log2"（考虑log2个特征）。

8.random_state：随机数种子，用于控制随机性。

9.max_leaf_nodes：最大叶节点数量，默认为None，表示不限制叶节点数量。

10.min_impurity_decrease：划分节点的不纯度减少阈值。一个节点将被分裂，当这种分裂导致的不纯度的减少大于或等于该值。

额外补充—信息增益（Information Gain）

是决策树算法中一种用于选择最优划分属性的准则。在构建决策树时，根据不同属性对数据集进行划分，通过计算每个属性的信息增益来确定最佳划分属性。

信息增益衡量了使用某个属性进行划分后，整个数据集的纯度提升的情况。在信息论中，信息增益表示在已知某个条件的情况下，获得的新信息量。在决策树算法中，属性的每个取值可以看作一个条件，通过计算每个属性的信息增益，选取具有最大信息增益的属性作为最佳划分属性。

计算信息增益的过程如下：

1.计算数据集的初始信息熵（Entropy），表示整个数据集的混乱程度。
2.对于每个属性，计算其对数据集的条件熵（Conditional Entropy），表示在该属性下数据集的混乱程度。
3.根据每个属性的条件熵和属性值出现的概率，计算属性的信息增益。
4.选择信息增益最大的属性作为最佳划分属性。

计算公式

Gain(S, A) = Entropy(S) - ∑(|Sv| / |S|) * Entropy(Sv)

其中，Gain(S, A)表示属性A的信息增益，Entropy(S)表示数据集S的信息熵，Sv表示根据属性A的某个取值划分得到的子集，|Sv|表示子集Sv的样本数量，|S|表示数据集S的样本数量，∑表示对所有子集求和。

信息增益越大，表示使用该属性进行划分能够带来更多的新信息，即减少了数据集的不确定性，因此被选为最佳划分属性。在决策树算法中，通过迭代选择信息增益最大的属性，构建一棵树，实现对数据集的预测。