算法进阶-提升

提升

主要内容
分析随机森林的特点
由弱分类器得到强分类器
样本加权、分类器加权
Adaboost算法
算法描述
前向分步算法+指数损失函数
由Adaboost/GBDT改造随机森林
提升是一个机器学习概念，可以用于回归和分类问题，它每一步产生一个弱预测模型（如决策树）,并加权累计到总模型中；如果每一步的弱预测模型生成都是依据损失函数的梯度方向，则称之为梯度提升。
梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合（基函数）；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。这种在函数域的梯度提升观点对机器学习的很多领域都有深刻影响。
提升的理论意义：如果一个问题存在弱分类器。则可以通过提升的办法得到强分类器

提升算法