决策树回归

决策树回归

决策树

核心思想

• 相似的输入必回产生相似输出

最快的将相同属性放到同一个叶子节点上

sklearn提供的决策树底层为cart树

决策树的底层结构为二叉树

终止条件

• 特征用完

• 子节点中没有样本

• 树达到了认为预先设定的最大深度

  • 树太深会过拟合

• 节点的样本数量达到了人为设定的阈值

  • 样本量太少，意义不大

import sklearn.tree as st #决策树回归模型

model = st.DecisionTreeRegressor(max_depth=4) # 创建决策树回归器模型 决策树深度

训练模型

train_x： 二维数组样本数据

train_y： 训练集中对应每行样本的结果

model.fit(train_x, train_y)

测试模型

pred_test_y = model.predict(test_x)

集合算法

boosting

• 基于上一棵树的基础上提升，树与树之间有联系

• AdaBoosting

  • import sklearn.tree as st #决策树回归模型
    import sklearn.ensemble as se #集成模型模块

model = st.DecisionTreeRegressor(max_depth=4) #先构建一棵树 # model: 决策树模型

自适应增强决策树回归模型

model = se.AdaBoostRegressor(model, n_estimators=400, random_state=7)#正向激励回归器
#正向激励 的基础模型 ： 决策树
#n_estimators：构建400棵不同权重的决策树，训练模型，弱模型数量
#model：激励对象
model.fit(train_x, train_y) # 训练模型
pred_test_y = model.predict(test_x) # 测试模型

• 特征重要性

  • fi = pd.Series(model.feature_importances_,
    index = boston.feature_names) #每一个特征重要性的值

• GBDT

  • GBDT（Gradient Boosting Decision Tree 梯度提升树）通过多轮迭代，每轮迭代产生一个弱分类器，每个分类器在上一轮分类器的残差（残差在数理统计中是指实际观察值与估计值（拟合值）之间的差）基础上进行训练。基于预测结果的残差设计损失函数。GBDT训练的过程即是求该损失函数最小值的过程。
  • import sklearn.tree as st
    import sklearn.ensemble as se

自适应增强决策树回归模型

model = se.GridientBoostingRegressor( #梯度提升回归器
max_depth=10, n_estimators=1000, min_samples_split=2)
#min_samples_split 最小样本分割数
model.fit(train_x, train_y) # 训练模型
pred_test_y = model.predict(test_x) # 测试模型

• 区别

  • GBDT直接构建即可
  • AdaBoost单棵决策树的基础上训练

bagging

• 打包，每课决策树之间没有联系

• 自助聚合

  • 每次从总样本矩阵中以有放回抽样的方式随机抽取部分样本构建决策树，这样形成多棵包含不同训练样本的决策树，以削弱某些强势样本对模型预测结果的影响，提高模型的泛化特性。

• 随机森林

  • import sklearn.ensemble as se

随机森林回归模型 （属于集合算法的一种）

max_depth：决策树最大深度10

n_estimators：构建1000棵决策树，训练模型

min_samples_split: 子表中最小样本数 若小于这个数字，则不再继续向下拆分

model = se.RandomForestRegressor(
max_depth=10, n_estimators=1000, min_samples_split=2) 1

• 某些特征学不到，只拿到一部分，比较片面，整体得分低于boosting