关于机器学习的问题

SVM和LR对于离群点的敏感性。

SVM只考虑分类面附近的点，即支持向量，所以对离群点不敏感；LR考虑所有样本点，所以对离群点敏感。

决策树和 GBDT 区别是什么？

梯度提升决策树GBDT是一种基于集成思想的决策树模型，即每颗树学的是之前所有树结论之和的残差，这个残差就是一个加预测值后能得真实值的累加量，将每次预测出的结果与目标值的残差作为下一次学习的目标。

LightGBM树相比Xgboost树的改进？

（1）直方图算法（Histogram）算法， 基本思想是先把连续的浮点特征值离散化成k个整数。

（2）在XGBoost中，树是按层生长的，称为Level-wise tree growth，同一层的所有节点都做分裂。LightGBM进行进一步的优化，采用的Leaf-wise则是一种更为高效的策略，每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。

（3）直方图差加速，一个叶子的直方图可以由它的父亲节点的直方图与它兄弟的直方图做差得到。

（4）直接支持类别特征，可以直接输入类别特征，不需要额外的0/1展开。