机器学习---基础算法五---Boost

机器学习—基础算法五

Boost

• 可用于回归和分类
• 每一步产生一个弱分类器，并加权累加到总模型中
  • 如果每一步的弱预测模型生成都是依赖于损失函数的梯度方向，则称之为梯度提升
• 梯度提升
  • 首先给定一个目标损失函数，该函数的定义域是所有科学的弱函数集合（基函数）
  • 通过迭代选择一个负梯度方向上的基函数来逐渐逼近局部最小值
• 理论意义
  • 如果一个问题存在弱分类器，则可以通过提升的方法得到强分类器
• 提升算法
  • 给定输入向量x和输出变量y组成的若干训练样本$(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$, 目标是找到近似函数$\hat{F}(x)$，使得损失函数L(y,F(x))的损失值最小
  • L(y,F(x))的典型定义为
    • $L(y,F(x))=\frac{1}{2}(y-F(x){)}^2$
    • $L(y,F(x))=|y-F(x)|$
  • 假定最优函数$F^{\ast }()$