Strangefish_的博客

(1) 加法模型： 在Adaboost模型中，我们把每个基本分类器合成一个复杂分类器的方法是每个基本分类器的加权和 它的基本思路是：因为学习的是加法模型，如果从前 向后，每一步只优化一个基函数及其系数，逐步逼近目标函数，那么就可以降低优化的复杂度。具体而言，每一步只需要优化： GBDT 算法由多棵决策树组成，所有树的结论累加起来做最终答案。提升树是迭代多棵回归树来共同决策。当采用平方误差损失函数时，每一棵回归树学习的是之前所有树的结论和残差，拟合得到一个当前的残差回归树，残差的意义如公式：残差 = 真实值

Boosting与Bagging有着截然不同的思想。 Boosting方法是使用同一组数据集进行反复学习，得到一系列简单模型，然后组合这些模型构成一个预测性能十分强大的机器学习模型。 Boosting思想是通过不断减少偏差的形式 Bagging主要通过降低方差的方式减少预测误差 Boosting两类常用方法：Adaptive Boosting 和 Gradient Boosting 以及它们的变体Xgboost、LightGBM以 及Catboost。 Boosting方法的基本思路 两个概念 弱学习

Task 08 Bagging的原理和案例分析 与投票法不同的是，Bagging不仅仅集成模型最后的预测结果，同时采用一定策略来影响基模型训练，保证基模型可以服从一定的假设。此时不再希望各个模型之间具有较大的差异性，在实际操作中的模型却往往是同质的，因此一个简单的思路是通过不同的采样增加模型的差异性。 自助采样(bootstrap) Bagging的核心在于自助采样(bootstrap)这一概念，即有放回的从数据集中进行采样，也就是说，同样的一个样本可能被多次进行采样。首先我们随机取出一个样本放入采样集合中

Task 07 投票法的原理和案例分析 投票法在实际中一个应用的例子 在航空航天领域，每个零件发出的电信号都对航空器的成功发射起到重要作用。如果我们有一个二进制形式的信号： 11101100100111001011011011011 在传输过程中第二位发生了翻转 10101100100111001011011011011 这导致的结果可能是致命的。一个常用的纠错方法是重复多次发送数据，并以少数服从多数的方法确定正确的传输数据。一般情况下，错误总是发生在局部，因此融合多个数据是降低误差的一个好方法，这就是投