一、决策树
ID3.0:利用信息增益选择根节点和叶子节点
C4.5:利用信息增益率选择根节点和叶子节点
CART:利用基尼系数选择根节点和叶子节点
二、随机森林
随机森林是一个包含多个决策树的分类器(决策树+bagging思想)
分类:最终结果由所有决策树输出类别的众数而定,即“少数服从多数原则”
回归:最终结果由所有决策树输出平均值
三、GBDT
算法由多棵决策树组成,所有树的结论累加起来做最终结果(决策树+boosting思想)
优点
1.预测精度高
2.适合低维数据
3.能处理非线性数据
4.可以灵活处理各种类型的数据,包括连续值和离散值
5.在相对少的调参时间情况下,预测的准确率也可以比较高
缺点
1.由于弱学习器之间存在依赖关系,难以并行训练数据,不过可以通过自采样的SGBT来达到部分并行
2.如果数据维度较高时会加大算法的计算复杂度
四、XGBoost
算法核心是不断的添加树,不断地进行特征分裂来生长一棵树,每添加一个树,其实是学习一个新函数,去拟合上次预测的残差(决策树+boosting思想)