UofT 机器学习笔记-套袋法（bagging）

 

在机器学习中，即使使用同样的算法，如果training set不一样，会生成不一样的模型。

假设我们有一个隐藏的data generating distribution P_data 生成不同颜色的点。

在红线越密集的地方，红点越多，蓝线约密集的地方蓝点越多，那么这个distribution可以生成无数的training set。

此时，我们随意定义一个点x，我们希望用机器学习的训练出一个model，判断这个点的颜色。

但是根据我们之前学到的，training set不一样，会生成不一样的模型。这三个模型会预测出不同的结果。

y是我们预测出的结果，很明显我们可以把y当成一个random variable，那么我们就可以讨论y的expectation和variance。

t是我们观察出的结果，也就是x这个点的真实颜色。从逻辑上来说，y与t是独立的，因为