2021-07-26

集成学习6

---

1. Adaboost的基本思路

AdaBoost是一种精度提升算法（Boosting Algorithm)， 主要用来解决分类预测的问题。它会逐个训练单个的分类器，调整每个单个分类器的精度，之后把若干个单个的分类器组合成一个复合分类器。通常我们把这些单个的分类器叫做弱分类器，而把最后的复合分类器叫做强分类器。

---

2. Adaboost 与 GBDT 的联系与区别

最主要的区别在于两者如何识别模型的问题。Adaboost用错分数据点来识别问题，通过调整错分数据点的权重来改进模型。GBDT通过负梯度来识别问题，通过计算负梯度来改进模型。

---

3. Boost 与 Bagging 的区别， 以及如何提升模型的精度

Bagging算法(套袋法)
bagging的算法过程如下：
从原始样本集中使用Bootstraping 方法随机抽取n个训练样本，共进行k轮抽取，得到k个训练集（k个训练集之间相互独立，元素可以有重复）。
对于n个训练集，我们训练k个模型，（这个模型可根据具体的情况而定，可以是决策树，knn等）
对于分类问题：由投票表决产生的分类结果；对于回归问题，由k个模型预测结果的均值作为最后预测的结果（所有模型的重要性相同）。
Boosting（提升法）
boosting的算法过程如下：
对于训练集中的每个样本建立权值wi，表示对每个样本的权重， 其关键在与对于被错误分类的样本权重会在下一轮的分类中获得更大的权重（错误分类的样本的权重增加）。
同时加大分类 误差概率小的弱分类器的权值，使其在表决中起到更大的作用，减小分类误差率较大弱分类器的权值，使其在表决中起到较小的作用。每一次迭代都得到一个弱分类器，需要使用某种策略将其组合，最为最终模型，(adaboost给每个迭代之后的弱分类器一个权值，将其线性组合作为最终的分类器,误差小的分类器权值越大。)
Bagging和Boosting 的主要区别
样本选择上: Bagging采取Bootstraping的是随机有放回的取样，Boosting的每一轮训练的样本是固定的，改变的是买个样的权重。
样本权重上：Bagging采取的是均匀取样，且每个样本的权重相同，Boosting根据错误率调整样本权重，错误率越大的样本权重会变大
预测函数上：Bagging所以的预测函数权值相同，Boosting中误差越小的预测函数其权值越大。
并行计算: Bagging 的各个预测函数可以并行生成;Boosting的各个预测函数必须按照顺序迭代生成.
将决策树与以上框架组合成新的算法
Bagging + 决策树 = 随机森林
AdaBoost + 决策树 = 提升树
gradient + 决策树 = GDBT

---

4. 使用基本分类模型和Boosting提升的模型，并画出他们的决策边界

不会，暂时空着。