文章目录
机器学习——基础算法(四)
一、提升的概念
口提升是一个机器学习技术,可以用于回归和分类问题,它每一步产生一个弱预测模型(如决策树),并加权累加到总模型中;如果每一步的弱预测模型生成都是依据损失函数的梯度方向,则称之为梯度提升(Gradient boosting)。
口梯度提升算法首先给定一个目标损失函数,它的定义域是所有可行的弱函数集合(基函数);提升算法
通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。这种在函数域的梯度提升观点对
机器学习的很多领域有深刻影响。
口提升的理论意义:如果一个问题存在弱分类器,则可以通过提升的办法得到强分类器。
二、提升算法
三、决策树的描述
关于决策树的例子
四、梯度提升决策树GBDT
五 、正则项的定义
六、目标函数的用法
七、构造的决策树的结构
八、XGBoost小结
九、boosting的思想
十、Adaboost
Adaboost例子