树模型--分类还是回归

GBDT是一种用于回归的机器学习算法，也可以用于分类，该算法由多棵回归决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于分类或排序。

随机森林能够解决分类与回归两种类型的问题，（虽然RF能做回归问题，但通常都用RF来解决分类问题）；
随机森林在解决回归问题时，并没有像它在分类中表现的那么好，这是因为它并不能给出一个连续的输出。当进行回归时，随机森林不能够做出超越训练集数据范围的预测，这可能导致在某些特定噪声的数据进行建模时出现过度拟合。（PS:随机森林已经被证明在某些噪音较大的分类或者回归问题上回过拟合）

LR线性可分的分类，XGB分类回归都可以