集成学习task1

1、集成学习的概念
结合多个个体学习器完成任务
2、个体学习器的概念
具有特定算法可构成集成学习的学习器
3、boosting bagging的概念、异同点
https://www.cnblogs.com/liuwu265/p/4690486.html

4、理解不同的结合策略(平均法，投票法，学习法)
平均法：所有学习器预测结果的平均值作为最终预测结果
投票法：所有学习器预测结果的众数最为最终预测结果
学习法：利用所有学习器的预测结果训练模型得到最终预测结果

5、随机森林的思想
Bagging + 决策树 = 随机森林

6、随机森林的推广
https://www.cnblogs.com/pinard/p/6156009.html
7、随机森林的优缺点
优点
可以处理高维数据，不同进行特征选择（特征子集是随机选择）
模型的泛化能力较强
训练模型时速度快，成并行化方式，即树之间相互独立
模型可以处理不平衡数据，平衡误差
最终训练结果，可以对特种额排序，选择比较重要的特征
随机森林有袋外数据（OOB），因此不需要单独划分交叉验证集
对缺失值、异常值不敏感
模型训练结果准确度高
缺点
当数据噪声比较大时，会产生过拟合现象对有不同取值的属性的数据，取值划分较多的属性会对随机森林产生更大的影响