6 模型融合
6.1 偏差和方差
-
分布图
-
公式推导:
-
假设从 y = f ( x ) + ϵ y = f(x) + \epsilon y=f(x)+ϵ采样得到 D = { ( x 1 , y 1 ) , . . . , ( x n , y n ) } D = \{(x_1,y_1),...,(x_n,y_n)\} D={ (x1,y1),...,(xn,yn)}, ϵ 表 示 噪 音 \epsilon表示噪音 ϵ表示噪音
-
在D上最小化MSE,得到 f ^ \hat{f} f^。希望在不同的 D D D上都能生成一个好的 f ^ \hat{f} f^
-
公式:
因 为 f 是 一 个 真 实 的 东 西 , 不 会 随 着 采 样 变 化 而 变 化 , 因 此 E f = f 假 设 噪 音 符 合 一 个 均 值 为 0 , 方 差 为 σ 2 的 正 态 分 布 ϵ 相 较 于 f ^ 时 独 立 的 , 因 此 E ϵ X = E ϵ E X 因为f是一个真实的东西,不会随着采样变化而变化,因此Ef = f \\ 假设噪音符合一个均值为0,方差为\sigma^2的正态分布 \\ \epsilon相较于\hat{f}时独立的,因此E\epsilon X = E\epsilon EX 因为f是一个真实的东
-