- 博客(4)
- 收藏
- 关注
RSS订阅转载 GBDT梯度提升树参数讲解
一般来说，如果样本特征数不多，比如小于50，我们用默认的"None"就可以了，如果特征数非常多，我们可以灵活使用刚才描述的其他取值来控制划分时考虑的最大特征数，以控制决策树的生成时间。2) learning_rate: 即每个弱学习器的权重缩减系数𝜈ν，也称作步长，在原理篇的正则化章节我们也讲到了，加上了正则化项，我们的强学习器的迭代公式为𝑓𝑘(𝑥)=𝑓𝑘−1(𝑥)+𝜈ℎ𝑘(𝑥)fk(x)=fk−1(x)+νhk(x)。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。
2022-09-02 17:09:49
255
原创 梯度提升树
梯度提升树是多个决策树集成模型，跟大多数机器学习类似，既可以用作分类，也可用于回归。但是，在实际项目应用中，如何让模型更优，或者说如何让模型发挥作用。我认为，首先更应该看重的是数据本身，数据特征的构建以及特征工程的处理，好的数据质量可以让一个模型更能发挥自身性能。接下来，在数据质量的基础上，才应该关注的是模型本身的参数调优。参数调优主要有两种思想，一是根据历史经验，例如高斯核的选取，损失函数的选取等等；二是随机尝试，这也并不是完全随机，在给定网格区域中进行随机搜索，返回区域内的最优参数。...
2022-08-09 09:29:23
423
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人