机器学习提纲

RF和GBDT的区别

集成
并行
偏差+方差
重要性计算（GBDT衡量特征j的全局重要度通过：特征j在单颗树中的重要度的平均值来衡量，RF是通过置换检验，可放回抽样）

XGB和GBDT的区别

并行
二次泰勒展开
正则项
缺失值
采样
分裂选择计算：GBDT是gini系数，XGB是综合分割前后的分数增益+正则项。

lightgbm和XGB的区别

分裂策略：xgb做无差别分裂level-wise，后剪枝，lightgbm做leaf-wise分裂，前剪枝。减小分裂开销。
决策树算法：exact算法和直方图算法。
lightgbm的优势：

GBDT细节

决策树的建立。

Xgb细节

lightgbm细节

虽然是leaf-wise，但是可能树长的比较深，所以小数据集可能过拟合，因此参数中有树的深度的限制。
直方图用桶的索引标志

对大数据的优势在于：内存访问机制。大数据顺序访问比随机访问要更快，因为cache miss导致xgb慢很多。

传统的机器学习没办法输入离散值，首先转化为高维的二进制的01特征，浪费内存和时间。lightgbm直接使用离散特征分桶计算，速度快了8倍以上。

并行

数据并行，
特征并行，
投票并行，这是对数据并行的改进，

慢工出细活：小的学习率加大的迭代次数。

RF细节

特征随机性：每个结点分裂都需要随机选择特征
OOB的结果近似K折交叉验证，估计OOB时，只用到了随机森林中的部分树，使用了1/3的未用到的数据进行最后的评估。