[机器学习]集成学习简单投票法概率

基于周志华的西瓜书(p.172)解释集成学习简单投票法概率。并参考知乎董豪晨的回答
对于二分类问题$y=[-1,1]$，假设错误率为$q$，且真实集函数表达为$f(x)$，对于每个分类器${h_i}$有：

$P({h_i} \ne f(x)) = q$

则对于用简单投票法和T个分类器，超过半数的分类器分类正确，则集成分类就正确：

$H(x) = sign(\sum\limits_{i = 1}^T {{h_i}(x)})$

证明：

由Hoeffding不等式(霍夫丁不等式)：

若硬币正面朝上概率为$p$，反面朝上概率为$1-p=q$，令$H(n)$为抛硬币$n$次硬币所得正面朝上的次数，则最多$k$次正面朝上的概率为：

$P(H(n) \le k) = \sum\limits_{i = 0}^kC_n^i {p^i}{(1 - p)^{n - i}}$

若 $\delta > 0，K = ({\rm{p - }}\delta )n$，则有：

$P(H(n) \le (p - \delta )n) \le {e^{ - 2{\delta ^2}n}}$

若要正确分类率 $H(x)$>0.5(即至少有T/2个分类器分类正确)，应该满足公式：

$P(H(n) \le (p - \delta )T/2) \le {e^{ - 2{\delta ^2}n}}$

上式中 $(p - \delta )T =[\frac{T}{2}]$，所以有

$\delta= p - \frac{1}{T}[\frac{T}{2}] \ge p - \frac{1}{2} = \frac{{2p - 1}}{2} = \frac{{1 - 2q}}{2}$

又 $\forall \delta > 0$，所以

$p - \frac{1}{T}[\frac{T}{2}] \ge 0$

因此要使超过一半的分类器分类正确，则 $p \ge 0.5$，因而超过半数的分类器分类正确，则集成分类就正确。

当 $\delta = \frac{{1 - 2q}}{q}$

$P(H(n) \le \frac{T}{2}) = \sum\limits_{i = 0}^{\frac{T}{2}} C_n^i {p^i}{(1 - p)^{T - i}} \le {e^{ - 2{{(\frac{1}{2} - q)}^2}T}} = {e^{ {{ - \frac{T}{2}(1 - 2q)}^2}}}$

由上式可知，在每个分类器相互独立情况下，随着分类器数量T的增加，集成的错误率趋向于0。