【机器学习】——方差和偏差、Bagging(2)，数据结构与算法面试题

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

图中【中间的加号指的是我们要学的真实模型的地方，圆圈是可容忍的区域，蓝色的圆指的是训练的模型得出的结果，蓝色的点的个数代表了所训练模型的个数】

• 如果所有训练的模型都在大圆内 且 与加号离得很近的话，我们可以认为模型有低偏差和低方差；
• 如果所有训练的模型没有在大圆内，那么可以说它的偏差很大；但是每一个蓝点之间差别没有那么大，就表示说方差是比较小的；
• 虽然每个蓝点基本都落到了大圆中，但是每个蓝点的距离比较大；这样偏差比较低，但是方差很大；
• 最差的一个情况是：每个蓝点既不落在大圆内且每次训练的不一样（之间的距离很大）；即方差和偏差都是很大的

我们需要的是低偏差和低方差，这样会是比较好的模型，若出现其他三种情况的话，要考虑用其他方法使得方差和偏差都降低。

数学定义

假设每次采样都是从有噪声ε的函数f(x)中采样数据用于学习f_hat
通过学习使得f_hat与 真实的f 尽可能的相近（这是个回归问题可以用最小MSE（均方误差）来实现）
我们学习到之后需要通过 泛化误差 来衡量它；在统计学习中，我们想通过学习来使得模型能泛化到没有学习过的样本，所以我们需要优先优化 [y-f(x)_hat]^2 的期望值 = 偏差^2 + 方差 +噪声^2

对公式的解释

• 刚开始模型过于简单可能学不到真实数据所要表达的内容，这时的偏差的平方会很大，随着模型的逐渐复杂，模型可能可以学到所想表达的信息，所以偏差的平方逐渐变小；
• 随着模型变得越来越复杂，能够拟合的东西就越大，这样模型可能会过多的关注于噪音（数据还是那些数据 数据复杂度低），所以方差会变得越来越大；
• 泛化误差 = 数据本身的噪音，但是数据本身没有变化，应该是个常数；但是加上了偏差和方差，最后就会导致最后的泛化误差曲线就会跟图中的蓝线一样
• 跟之前讲过的下图有关。

训练误差往往会跟偏差相关（偏差越小，模型就越容易拟合到数据上）；图上两条线的差距可以说是方差在起作用。

减小偏差、方差、噪声

• 任务是减小泛化误差，那我们需要减小偏差、方差、噪声
• 减小偏差：偏差很大，说明模型复杂度可能不够，可以使用一个模型复杂度高一点的模型（在神经网络中可以 增加层数 增加隐藏层单元个数（宽度））；也可使用【Boosting；Stacking】
• 减小方差：方差太大可能代表你的模型过于复杂，我们可以是用一个简单点的模型，或者是使用正则化（使用L2，L1正则项，限制住每个模型能够学习的范围）；也可使用【Bagging；Stacking】
• 降低噪声：在统计学习中，这个是不可以降低的误差，但是在真实的场景，这是来自于数据采集，可以通过更精确的数据采集，更干净的数据来使得噪声降低
• 集成学习：使用多个模型来提升性能【上面提到的Boosting；Stacking；Bagging； 后面的小节会说】

总结

• 在统计学习中，我们可以把泛化误差分解为 偏差、误差和噪声三项；
• 集成学习能够将多个模型组合起来来降低偏差和。

二、Bagging

做bagging的时候，每次训练n个模型（base learners），但是每个模型都是独立并行训练的，在得到n个模型之后，

• 如果是回归问题，会把每一个模型的输出做平均就得到了bagging出来的效果
• 如果是做分类的话，这样每一个模型都会输出一个类别，然后会用这些输出做投票选最多的（这个叫Majority voting）

每个模型的训练是通过bootstrap采样得到的训练集上训练的

• 什么是bootstrap采样？假设训练集有m个样本，每一次训练base learner的时候，随机采样m个样本，每次采样我们会将这个样本放回去，可能有些样本会重复，如果有n个模型要这样训练，就重复n次
• 大概是有1-1/e ≈63%的概率会被采样到，就是说可能有37%的样本是没有采样出来的，可以用这个来做验证集，这个也叫做 out of bag。

代码实现

随机森林使用决策树来做base learner；
使用随机森林时的常用技术，在bootstrap样本时还会每次随机采样一些特征出来，但在这个地方就不会去采样重复的类出来，因为重复的类没有太大的意义；这样做主要的好处是随机采样之后可以避免一定的过拟合，而且能够增加每一棵决策树之间的差异性；
在右边的曲线图中，我们可以知道，随着learner的数量增加，模型的误差是逐渐减小的。但是泛化误差的曲线不会往上升，这是因为我们降低了方差但没使得偏差更大，这也就改善了泛化误差中三项其中的一项，但没增加另外两项。

class Bagging:
    def __init__(self, base_learner, n_learners):
       self.learners = [clone(base_learner) for _ in range(n_learners)]

    def fit(self, X, y):
        for learner in self.learners:
            examples = np.random.choice(
                np.arange(len(X)), int(len(X)), replace=True)
            learner.fit(X.iloc[examples, :], y.iloc[examples])

    def predict(self, X):
        preds = [learner.predict(X) for learner in self.learners]
        return np.array(preds).mean(axis=0)

bagging什么时候会变好

bagging主要下降的是方差，在统计上采样1次和采样n次取平均，它的均值是不会发生变化的就bias是不会发生变化的，唯一下降的是方差，采样的越多，方差相对来说变得越小。
方差什么时候下降的比较快，方差比较大的时候下降的相关比较好。
那什么时候方差大呢，方差比较大的模型我们叫做unstable的模型；以回归来举例子，真实的是f ，base learner是h，bagging之后 对每个学到的base learner的预测值取个均值 就会得到预测值f_hat；因为期望的平方会小于方差，所以h(x)与f(x)差别很大的时候，bagging的效果比较好。
也就是说，在base learner没那么稳定的时候，它对于下降方差的效果会好。

不稳定的learner

决策树不是一个稳定的learner，因为数据一旦发生变化，选取的特征然后选取特征的哪个值都会不一样，分支会不一样，故其不稳定；
线性回归比较稳定，数据的较小的变化，对模型不会有太大的影响 。

总结

bagging就是训练多个模型，每个模型就是通过在训练数据中通过bootstrap采样训练而来；
bootstrap就是每一次用m个样本，随机在训练数据中采样m个样本，且会放回继续采样
bagging的主要效果是能够降低方差，特别是当整个用来做bagging的模型是不稳定的模型的时候效果最佳（随机森林）。

三、Boosting

boosting 它是说将多个弱一点的模型（偏差比较大）组合起来变成强一点的模型（偏差比较小），主要是为了去降低偏差而不是方差【Bagging 把多个不那么稳定的模型把它们放在一起得到一个相对稳定的模型】
Boosting是要按顺序的学习【bagging是每个模型是独立的】
具体的做法：每一次在第i步的时候，会训练一个弱模型h i，然后去评估一下它的误差εt；然后根据当前的误差εt重新采样一下，使得接下来的模型h i+1会去关注那些预测不正确的样本；
比较著名的样例：AdaBoost,Gradient boosting

Gradient boosting

假设在时间 t 时训练好的模型时Ht(x)，时间1时H1(x)=0

• 在残差上训练新的模型ht【残差指在m个样本中样本本身 特征不发生变化，标号变了 实际标号减去预测的标号（也就是后面说的拟合不够的差值）】
• 时间1时 是在原始的样本上进行训练，但是在之后的时间内，都是把当前时刻boosting的模型去拟合 拟合不够的那个差值
• 然后将ht * η（学习率）加进当前整个boosting出来的模型，变成下一个时刻boosting出来的模型【η是作为一个正则项，boosting中叫收缩】（当然η可以为1，但是这样很容易过拟合）。
• 残差实际上等价于 MSE作为损失函数时 损失函数L对函数H做负梯度。

为什么会讲gradient boosting？是因为其他的boosting 函数可以换到gradient boosting的框架里面（取决于要怎么去选损失函数L）

gradient boosting 的代码实现

class GradientBoosting:
    def __init__(self, base_learner, n_learners, learning_rate):
        self.learners = [clone(base_learner) for _ in range(n_learners)]
           self.lr = learning_rate

    def fit(self, X, y):
        residual = y.copy()
        for learner in self.learners:
            learner.fit(X, residual)
            residual -= self.lr * learner.predict(X)

    def predict(self,X):
        preds = [learner.predict(X) for learner in self.learners]
        return np.array(preds).sum(axis=0) * self.lr

gradient boosting的效果

• 用决策树作为weak learner（Gradient boosting 很容易 过拟合，所以我们需要对它做些正则化，需要用一个弱的模型来做）
• 但是决策树是一个强模型，我们需要限制树的最高层数，也可以随机采样一些特征（列）
• 在GBDT中模型没有过拟合（每一个小模型确实比较弱，学习率也定的比较低），当weak learner、学习率 控制得比较好的时候，它的过拟合现象没那么严重
• GBDT需要顺序训练，在大的训练集上会比较吃亏，所以会用一些加速算法如：XGBoost，lightGBM。

总结

• Boosting是说把n个弱一点的模型组合在一起变成一个比较强的模型，用于降低偏差。
• Gradient boosting 是boosting的一种，每一次弱的模型是去拟合 在标号上的残差，可以认为是每次去拟合给定损失函数的负梯度方向 。

四、Stacking

• stacking 跟之前个begging有一点像的，都是将多个base learner放在一起，来降低方差；
• 但是不同在于stacking的base learner可以有不同的模型类别；stacking的输出是concat起来的（模型种类不一样输出可能不同），然后再做线性的组合就得到最终的输出【begging是在数据上多次训练同样的模型；begging是所有模型的输出做平均或做投票】；
• 每个模型是在原始数据上训练不需要再通过bootstrap 的采样（如果base learner是随机森林的话是已经做了的）
• 竞赛中经常被使用，一般是每一个人训练不一样的模型，甚至是做不一样的特征提取，最后再将结果加起来 。

stacking的效果

stacking中每个模型的表现

直接使用的是AutoGluon的实现

做stacking的时候没有办法保证每一个模型的效果都很好，很多时候需要加入能够提升模型精度的模型。

多层stacking（降低偏差）

将第一层stacking的输出看成是特征送入下一层的stacking中（第二层的输入是基于上一层的输出，离最后的标号很近了，所以下一层训练起来会比较容易），这样可以把没有训练好的地方重新训练；
在这里也会将原始的特征直接与第一层的输出一起送入下一层
多层stacking很容易过拟合（同一份数据又送进去学了一遍）。

减轻多层stacking的过拟合

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-XgT60p4d-1713360607821)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！