机器学习算法—集成算法原理详解

1、集成算法之Boosting（GBDT、XGB、LGB）

1、重赋权（错误标记样本赋予较高的权重）（过早停止导致基学习器少）
2、重采样

注：关注降低偏差，避免欠拟合。个体学习器之间存在强依赖关系

2、集成算法之Bagging（RF）

booststrap sampling：
1、从数据集中有放回的随机抽m个样本（36.8%抽不中）
2、从样本中随机抽n个特征进行建树
3、重复1-2

采用相互交叠的采样子集：

• 获得基学习器有较大差异
• 个体学习器的性能不会太差（保证训练集各不相同）

注：关注降低方差，避免过拟合。个体学习器之间相互独立

3、集成算法之Stacking（速度慢）

第一层用各种模型：

• 训练处的结果当做第二层训练集
• 测试集平均当做第二层测试集