XGBoost、LightGBM、随机森林、GBDT和AdaBoost的记忆法

1. XGB（XGBoost）：“精密狙击手”

• 关键词：二阶导数、正则化、缺失值处理、并行化
• 联想：狙击手，精准计算并考虑每个射击的影响，结合复杂的数学计算（导数）调整攻击策略，能处理缺失的信息（自动处理缺失值），且善于同时执行多任务（并行化）。适合复杂的、需要高精度的场景。

2. LGB（LightGBM）：“极速突袭者”

• 关键词：直方图算法、叶子优先生长、内存效率高、大规模数据
• 联想：突袭者，以极快的速度找到最优攻击点（叶子优先生长），并且能够在面对庞大的敌人时依然高效（适合大数据）。他轻便高效，且需要的资源少（内存友好），总是先发制人。

3. RF（随机森林）：“强大联盟领袖”

• 关键词：Bagging、独立决策树、并行性、降低方差
• 联想：联盟领袖，指挥着由独立战士（决策树）组成的团队，所有成员独立作战，最后集体决策（多数投票），每次决策都更稳健（降低方差），并且可以同时处理多个战场（并行性）。

4. GBDT（梯度提升决策树）：“逐步提升的学者”

• 关键词：Boosting、残差拟合、串行性、降低偏差
• 联想：学者，每次迭代都在改进前面的错误（拟合残差），一步步积累知识和力量（逐步提升）。他善于处理复杂问题，虽然行动较慢（串行性），但最终可以达到极高的精确度（降低偏差）。

5. AdaBoost：“权重调整大师”

• 关键词：样本权重调整、弱学习器、分类问题
• 联想：权重调整大师，在战斗中特别擅长观察哪些敌人最难对付（错分的样本），并集中火力对抗这些敌人（通过调整样本权重）。他通常召唤的是弱小的战士（弱学习器），但通过对它们进行巧妙的安排，他能逐步强化每个学习器的能力，最终形成强大的战斗力。虽然他的攻击简单（弱学习器为浅层决策树），但在简单场景中，他的效果非常显著。