Xgboost

Xgboost

Xgboost

和决策树联系在一起

样本数乘权值

一棵树一棵树往里加的，每加一颗树后的结果都比没之前好

叶子节点中的样本数可能大于1

加了一个树用f1(xi)表示

t表示总使用了t颗树

总的目标函数有两部分：

一部分是优化预测值和真实值的差异，即差值平方

另一部分是损失函数：即正则化惩罚项

T表示叶子节点的个数，γ系数表示惩罚力度

样本的遍历转化为叶子节点的遍历（T表示叶子节点数）

λ值已确定

 

进一步对目标函数进行化简

样本遍历转化为叶子节点的遍历，利用叶子节点遍历更加的方便

 

目标函数越小越好，使差值平方尽可能小（即预测值更加接近真实值）

权重值是通过一阶导数和二阶导数一起计算出来的

每个叶子节点的G，H值是根据损失函数求出来，分别对应损失函数的一阶、二阶导数

不断加树，目标函数为真实值与当前值的差值。目标函数的值越小表示树的结构越好

之前的决策树是根据信息增益来确定节点的，Xgboost是根据自己推到的公式来划分

用分割之前的obj值减去分割后的obj值即可得到增益gain，选出切割后增益最大的点来划分

 

 

利用xgboost的函数可以直接将特征重要程度的图标绘制出来，这也是一种特征选择的方法