一些关于树模型简单的总结

决策树：

• ID3（信息增益）
• C45（信息增益比）
• CART（纯度、gini系数）

xgboost：

• Regularized objective
• Justified weighted quantile（presort）（extra/hist）
• Depth-wise

lightGBM：

• GOSS（gbdt/goss/rf/dart）
• EFB（enable_buld）
• hist
• left-wise

CatBoost（减少对cat的过拟合）：

• Category + prior
• Permutation 减少 shift（可以直接搞id类特征）