XGB、LBG、GBDT
文章平均质量分 89
无价攻城狮
不认输的卷心菜
展开
-
task_5 - 副本
Task01–Task06树模型与集成学习笔记整理 ****************************************************************************************************************** 1 Task01 信息论基础 决策树分类思想: 用树的节点代表样本集合,通过某些判定条件来对节点内的样本进行分配,将它们划分到当前节点下的子节点,这样决策树希望各个子节点中类别的纯度之和应高于该节点中的类别纯度,达到分类效果。 节原创 2021-11-09 01:13:20 · 817 阅读 · 0 评论 -
task_6 - 副本
Task07:梯度提升树-LightGBM 互斥特征绑定 实际的数据特征中可能有许多稀疏特征,即其非零值的数量远小于零值的数量,因此希望能够将这些特征进行合并来减少稀疏特征的数量,从而减少直方图构建的时间复杂度。我们将任意两个特征都不同时取非零值的特征集合称为一族互斥特征,数据集中的所有特征可被划分为这样的若干族互斥特征,例如下面就是一族互斥特征。 LightGBM提出了将互斥特征合并为单个特征的策略,从而让构建直方图的时间复杂度得以降低,因此需要找到最少的互斥绑定数量,即最少可以划分为几族。遗憾的是这个问原创 2021-11-08 01:56:55 · 70 阅读 · 0 评论