机器学习之xgboost算法

xgboost集成思想

xgboost可以和决策树结合在一起，一个分类器效果不好，可以考虑多个分类器，要求每多加一个分类器，分类的效果更好。

xgboost基本原理

每加一棵树的时候整体效果提升，整体效果更好

在原有的模型上面加上一颗新树使得预测效果更好

f函数是把树拆分成结构部分q和叶子权重部分w

损失函数：

构建决策树的时候希望树越少越好，这里用r约束T的个数，加上L2正则惩罚项

xgboost公式推导：

目标函数：

1、f函数转换为w函数
2、对样本遍历转换为对叶子节点进行遍历，样本总个数等于叶子节点中的样本个数之和。

求最小值：

对w求一阶导的结果等于0，求出最小值

最后求得目标函数。