前言
原文中,根据公式(8.28)写出了集成的“分歧”定义为:
A ‾ ( h ∣ x ) = ∑ i = 1 T w i ( h i ( x ) − H ( x ) ) 2 \overline A(h|x) = \sum\limits_{i=1}^{T}w_i(h_i(x)-H(x))^2 A(h∣x)=i=1∑Twi(hi(x)−H(x))2
结果在公式(8.31)突然变成,将分歧和误差联系上了,看得我非常懵逼
A ‾ ( h ∣ x ) = ∑ i = 1 T w i E ( h i ∣ x ) − E ( H ∣ x ) \overline A(h|x) = \sum\limits_{i=1}^{T}w_iE(h_i|x)-E(H|x) A(h∣x)=i=1∑TwiE(hi∣x)−E(H∣x)
所以,本文主要解释西瓜书第185页公式(8.31)的第一行是怎么来的
公式
首先,将公式(8.31)的第二行换个写法,我们叫他为公式(a),如果能够证明公式(a)是正确的,那么公式(8.31)的第一行也就是成立的:
E ‾ ( h ∣ x ) − A ‾ ( h ∣ x ) = E ( H ∣ x ) \overline E(h|x) -\overline A(h|x) = E(H|x) E(h∣x)−A(h∣x)=E(H∣x)
已知:
E ‾ ( h ∣ x ) = ∑ i = 1 T w i ( f ( x ) − h i ( x ) ) 2 \overline E(h|x) = \sum\limits_{i=1}^{T}w_i(f(x)-h_i(x))^2 E(h∣x)=i=1∑Twi(f(x)−hi(x))2
A ‾ ( h ∣ x ) = ∑ i = 1 T w i ( h i ( x ) − H ( x ) ) 2 \overline A(h|x) = \sum\limits_{i=1}^{T}w_i(h_i(x)-H(x))^2 A(h∣x)=i=1∑Twi(hi(x)−H(x))2
所以:
E ‾ ( h ∣ x ) − A ‾ ( h ∣ x ) \overline E(h|x) -\overline A(h|x) E(h∣x)−A(h∣x)$
= ∑ i = 1 T w i ( f ( x ) − h i ( x ) ) 2 − ∑ i = 1 T w i ( h i ( x ) − H ( x ) ) 2 = \sum\limits_{i=1}^{T}w_i(f(x)-h_i(x))^2 - \sum\limits_{i=1}^{T}w_i(h_i(x)-H(x))^2 =i=1∑Twi(f(x)−hi(x))2−i=1∑Twi(hi(x)−H(x))2
求和号 ∑ i = 1 T \sum\limits_{i=1}^{T} i=1∑T和权重 w i w_i wi提到前面,得:
= ∑ i = 1 T w i [ ( f ( x ) − h