meng_xin_true的博客

之前讲到的 AdaBoost 是提升方法中最典型的算法思路之一，提升方法则采用加法模型（基函数的线性组合）与前向分步算法，而 AdaBoost 只是将损失函数指定为指数损失函数的提升方法而已。提升树是以分类树或回归树为基本分类器的提升方法。其被认为是统计学习中性能最好的方法之一。实际上，AdaBoost 更多的是一种算法思路，其并没有指定基函数是决策树还是其他。对于分类问题，提升树的基决策树是二叉分类树；对于回归问题，提升树的基决策树是二叉回归树。

损失函数和风险函数首先引入损失函数与风险函数的概念。损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。监督学习问题是在假设空间F\Bbb FF中选取模型fff作为决策函数，对于给定的输入XXX，有f(X)f(X)f(X)给出相应的输出YYY，这个输出的预测值f(X)f(X)f(X)与真实值YYY可能一致也可能不一致，用一个损失函数（loss function）或代价函数（cost function）来度量预测错误的程度。损失函数是f(X)f(X)f(X)和YYY的非负实值函数，记作L