决策树与随机森林

决策树：

过拟合，可以减枝，随机森林。

bootstraping

bagging

选n个样本，建立n个分类器，类似于民主政治。

adaboost： 相当于精英政治。

随机森林：

从样本集中用bootstrap采样选出n个样本

从所有属性中随机选取k个属性，建立决策树

重复m次，建立m各决策树

形成随机森林，投票表决属于哪一类

用其他分类器也可以叫做随机森林

对于样本有权重，对于决策树没有权重

分类器的权重公式

分类器的系数与误差率的关系：误差率越大，权重越小。

使现有分类器表现最差的权重分布。

gdbt：提升算法

ababoost是gdbt的一种特殊的用法

函数可以理解为向量的推广。

对函数求梯度，