机器学习算法对比1

逻辑回归 VS 决策树

1. 树模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。
2. LR 对数据整体结果分析优于决策树，决策树对局部结构的分析优于逻辑回归。
3. LR擅于分析线性关系，决策树对线性关系把握差。决策树对应非线性，很多非线性可以用线性关系近似。线性关系实现的优点：简洁，易理解，一定程度防止过拟合。
4. LR对极端值敏感，易受极端值影响，决策树可以避免。

随机森林 VS GBDT

相同：

1. 都是由多棵树组成，集成算法。
2. 最终结果是由多棵决策树共同决定。

不同：

1. 组成随机森林是分类树，回归树，GBDT是由回归树组成。
2. RF并行分成树，GBDT只能串行。
3. 对结果，RF使用投票，GBDT使用加权求和。
4. RF对异常值不敏感，GBDT对异常值敏感。
5. 减小方差提高性能，GBDT减小偏差提高性能。
6. RF对训练集一视同仁，GBDT是基于权值的弱分类器的集成。
7. RF有行列采样。