目录
选择弱评估器:重要参数booster
梯度提升算法中不只有梯度提升树,
XGB
作为梯度提升算法的进化,自然也不只有树模型一种弱评估器。在
XGB
中,除了树模型,我们还可以选用线性模型,比如线性回归,来进行集成。虽然主流的XGB
依然是树模型,但我们也可以使用其他的模型。基于XGB
的这种性质,我们有参数
“booster"
来控制我们究竟使用怎样的弱评估器。
![](https://i-blog.csdnimg.cn/blog_migrate/2764d0b1198d81d3378dd1563651986f.png)
XGB的目标函数:重要参数objective
梯度提升算法中都存在着损失函数。不同于逻辑回归和
SVM
等算法中固定的损失函数写法,
集成算法中的损失函数是
可选的
,要选用什么损失函数取决于我们