机器学习：集成学习（OOB 和 关于 Bagging 的更多讨论）

一、oob（Out - of - Bag）

• 定义：放回取样导致一部分样本很有可能没有取到，这部分样本平均大约有 37% ，把这部分没有取到的样本称为 oob 数据集；

• 根据这种情况，不对数据集进行 train_test_split，也就是不适用 测试数据集，而使用这部分没有取到的样本做测试 / 验证；

 

　2）oob_score 参数

• Bagging 取样方式的集成学习算法，可以不对数据集进行 train_test_split ，而是使用 oob 数据集作为验证数据集；
• oob_score 是 Bagging 取样方式的集成学习算法  BaggingClassifier() 的一个参数：

1. oob_score = True：表示使用 oob 数据集作为验证数据集；
2. oob_score 默认为 False，不使用 oob 数据集作为验证数据集；
3. 可以直接使用 oob_score_ 变量，查看模型在 oob 数据集上的准确率；

 

　3）并行化处理

• Baggi