决策树模型的参数

决策树模型的参数
1.criterion gini or entropy 基尼系数或者熵值
2.splitter best or random 前者是所有特征中最好找的切分点,后者是在部分特征中(数据量大的时候)
3.max_features None, log2,sqrt,N 特征小于50的时候一般使用所有的
4.max_depth数据少或者特征少的时候可以不用管这个只,如果模型样本量多,特征也多的情况下,可以尝试限制一下.深度通常需要遍历几个值。
5.min_samples_split如果节点的样本数量小于max_samples_split,则不会继续再尝试选择最优特征来进行划分,如果样本量不大,不需要管这个值,如果样本数量级非常大,则推荐增大这个值。
6.min_samples_leaf:这个值的限制了叶子节点最少的样本树,如果叶子节点数目小于样本数,则会和兄弟节点一起被剪枝,如果样本量不大,则不需要这个值。
7.min_weight_fraction_leaf 这个值限制了叶子节点所有样本权重和最小值,如果小于这个值,就会和兄弟节点一起被剪枝。
8.max_leaf_nodes通过限制最大叶子节点数,防止过拟合,默认为None,即不限制最大的叶子节点书,如果增加了限制,算法会建立在最大叶子节点数内最优的决策树
9.class_weight:指定样本类别的权重,主要是为了防止训练集某些类别的样本过多导致训练的决策树过于偏向这些类别
10.min_impurity_split:这个值限制了决策树的生长,如果某个节点的不纯度,小于这个阈值则该节点不再生成子节点,即为叶子节点。
11.n_estimators:建立树的个数。

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
决策树模型参数优化通常包括以下几个方面: 1. 树的深度:决策树的深度影响模型的拟合能力和泛化能力。如果树的深度过大,容易出现过拟合现象;如果树的深度过小,容易出现欠拟合现象。一般来说,我们可以通过交叉验证来选择一个合适的树深度。 2. 决策节点的最小样本数:决策节点的最小样本数指每个节点最少需要多少个样本才能进行分裂。如果这个值过小,容易出现过拟合;如果这个值过大,容易出现欠拟合。一般来说,我们可以通过交叉验证来选择一个合适的最小样本数。 3. 叶节点的最小样本数:叶节点的最小样本数指每个叶节点最少需要多少个样本。如果这个值过小,容易出现过拟合;如果这个值过大,容易出现欠拟合。一般来说,我们可以通过交叉验证来选择一个合适的最小样本数。 下面是使用交叉验证选择最优决策树参数的Python代码: ```python from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import GridSearchCV from sklearn.datasets import load_iris # 加载数据集 iris = load_iris() X = iris.data y = iris.target # 定义参数范围 param_grid = { 'max_depth': [3, 4, 5, 6, 7], 'min_samples_split': [2, 3, 4, 5], 'min_samples_leaf': [1, 2, 3, 4] } # 创建决策树模型 dtc = DecisionTreeClassifier() # 使用交叉验证选择最优参数 grid_search = GridSearchCV(dtc, param_grid, cv=5) grid_search.fit(X, y) # 输出最优参数 print(grid_search.best_params_) ``` 这个代码使用了sklearn中的GridSearchCV类来进行交叉验证。我们首先加载了一个iris数据集,然后定义了三个参数的范围:树的深度、决策节点的最小样本数和叶节点的最小样本数。然后,我们创建了一个DecisionTreeClassifier对象,使用GridSearchCV类进行交叉验证,最后输出最优参数。 在实际问题中,我们可以根据具体情况调整参数范围,以及交叉验证的折数等参数
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值