（《机器学习》完整版系列）第8章 集成学习——8.5再谈投票法（硬投票：“同意”与“不同意”，软投票：同意张三70%，同意李四30%）

简单投票法的基学习器均以“$-1$”或“$+1$”进行投票，现在我们让其以“0”或“1”进行投票，称为“硬投票”。包括：得票多的胜出、必须超过半数、加权投票
硬投票指要么“同意”要么“不同意”，而软投票是指“同意度”，即投票者把面额为1的票按自己的意愿分割到不同的候选者，如，同意张三70%，同意李四30%。

再谈投票法

硬投票

前述的基学习器均以“$-1$”或“$+1$”进行投票，现在我们让其以“0”或“1”进行投票，称为“硬投票”。

设有$N$类，类别标记集合为 { C 1 , C 2 , ⋯   , C N } \{C_1,C_2,\cdots,C_N\} {C1​,C2​,⋯,CN​}，有$T$个分类器$h_i,(i=1,2,\cdots ,T)$，对样本$\mathbf{x}$的预测为$h_i(\mathbf{x})=C_j$。 预测统计生成表8.1。

本来是要将$\mathbf{x}$分类到 { C 1 , C 2 , ⋯   , C N } \{C_1,C_2,\cdots,C_N\} {C1​,C2​,⋯,CN​}中，现在我们将$\mathbf{x}$视为一张选票，$h_i$视为投票人，他要在选票上勾上候选人（$C_1,C_2,\cdots ,C_N$）之一，即$h_i$对$\mathbf{x}$的投票结果
$$\begin{array}{r}{h}_i^j(\mathbf{x})=\{\begin{array}{l}1,\text{若}{h}_i(\mathbf{x})=C_j\\ 0,\text{若}{h}_i(\mathbf{x})\ne C_j\end{array}\end{array}\text{\hspace{1em}(8.33)}$$
体现在表8.1中的$h_i$所在的行，表中每行（中间部分）是一个“独1向量”。 从列的角度看，第$j$列为候选者$C_j$的得票情况，最后一行表示对每位候选者的记票结果。

投票人（$h_i,(i=1,2,\cdots ,T)$）对$\mathbf{x}$的集体决策记为$H(\mathbf{x})$，不同的决策对应不同的游戏规则：

（1）得票多的胜出

若
$$\begin{array}{r}\max \left\{\sum _{k=1}^T{h}_k^1(\mathbf{x}),\sum _{k=1}^T{h}_k^2(\mathbf{x}),\cdots ,\sum _{k=1}^T{h}_k^i(\mathbf{x}),\cdots ,\sum _{k=1}^T{h}_k^N(\mathbf{x})\right\}=\sum _{k=1}^T{h}_k^j(\mathbf{x})\end{array}\text{\hspace{1em}(8.34)}$$
则$H(\mathbf{x})=C_j$

通常以序号表示类别，即$C_j=j$，则该规则可以简单地表达为
$$\begin{array}{rl}H(\mathbf{x})& =\mathrm{argmax}\left\{\sum _{k=1}^T{h}_k^1(\mathbf{x}),\sum _{k=1}^T{h}_k^2(\mathbf{x}),\cdots ,\sum _{k=1}^T{h}_k^i(\mathbf{x}),\cdots ,\sum _{k=1}^T{h}_k^N(\mathbf{x})\right\}\\ & =\underset{j}{\mathrm{argmax}}\sum _{k=1}^T{h}_k^j(\mathbf{x})\end{array}\text{\hspace{1em}(8.35)}$$

当类别不是直接以序号代表时，则式(8.35)变为【西瓜书式(8.25)】。

（2）必须超过半数（在（1）的基础上）

若式(8.34)$>\frac{T}{2}$，则预测$H(\mathbf{x})=C_j$，否则拒绝预测。

这即为【西瓜书式(8.24)】所表达的集成分类器，在该规则下，会出现“拒绝预测”的情况，这就是一些选举会出现流产情况。 另外，当为二分类时，（2）与（1）等价。

（3）加权投票

仍然是每人$h_i$一张票，但汇总时，每人的权重不一样。 设$w_i$为$h_i$的权重（$w_i>0,{\sum }_{i=1}^T{w}_i=1$），则表8.1中最后一行的统计变为
$$\sum _{k=1}^T{w}_k{h}_k^1(\mathbf{x}),\sum _{k=1}^T{w}_k{h}_k^2(\mathbf{x}),\cdots ,\sum _{k=1}^T{w}_k{h}_k^N(\mathbf{x})$$
则（1）的式(8.35)变为
$$\begin{array}{rl}H(\mathbf{x})& =\underset{j}{\mathrm{argmax}}\sum _{k=1}^T{w}_k{h}_k^j(\mathbf{x})\end{array}\text{\hspace{1em}(8.36)}$$
当类别不是直接以序号代表时，则式(8.36)变为【西瓜书式(8.26)】。

同样可以得到在（2）的约束下的预测公式。

用指示函数表达

利用指示函数（6、指示函数及应用（将分段函数表达成一个式子的技术）），则式(8.33)可表达为
$$\begin{array}{r}{h}_i^j(\mathbf{x})=\mathbb{I}(j=h_i(\mathbf{x}))\end{array}\text{\hspace{1em}(8.37)}$$
其中，为简化以序号表示类别，即$C_j=j$。

则“得票多者胜出”的式(8.35)变为
$$\begin{array}{rl}H(\mathbf{x})& =\underset{j}{\mathrm{argmax}}\sum _{k=1}^T\mathbb{I}(h_k(\mathbf{x})=j)\\ & =\underset{y\in \mathcal{Y}}{\mathrm{argmax}}\sum _{k=1}^T\mathbb{I}(h_k(\mathbf{x})=y)\text{（换变量字母）}\end{array}\text{\hspace{1em}(8.38)}$$
这即是【西瓜书图8.5】Bagging算法中的输出表达式。

设测试集为$T_D$，仅考虑测试集上的预测，即
$$\begin{array}{rl}{H}^{T_D}(\mathbf{x})& =\{\begin{array}{ll}H(\mathbf{x}),& \text{（若x∈TD）}\\ 0,& \text{（若x∈/TD）}\end{array}\\ & =H(\mathbf{x})\mathbb{I}(\mathbf{x}\in T_D)\text{（由式(B5)）}\end{array}\text{\hspace{1em}(8.39)}$$
则它对$\mathbf{x}$预测的误差损失
$$\begin{array}{rl}{ϵ}^{T_D}(\mathbf{x})& =\{\begin{array}{l}0,\text{当HTD(x)=f(x)时}\\ 1,\text{当HTD(x)=f(x)时}\end{array}\\ & =\mathbb{I}(H^{T_D}(\mathbf{x})\ne f(\mathbf{x}))\text{（由式(B5)）}\end{array}\text{\hspace{1em}(8.40)}$$
则平均误差损失
$$\begin{array}{rl}{ϵ}^{T_D}& =\frac{1}{|T_D|}\sum _{\mathbf{x}\in T_D}{ϵ}^{T_D}(\mathbf{x})\\ & =\frac{1}{|T_D|}\sum _{\mathbf{x}\in T_D}\mathbb{I}(H^{T_D}(\mathbf{x})\ne f(\mathbf{x}))\text{（由式(8.40)）}\end{array}\text{\hspace{1em}(8.41)}$$
${ϵ}^{T_D}$即为对$H(\mathbf{x})$的泛化性能的度量【西瓜书式(8.21)】。

软投票

硬投票指要么“同意”要么“不同意”，而软投票是指“同意度”，即投票者把面额为1的票按自己的意愿分割到不同的候选者，如，同意张三70%，同意李四30%。

则式(8.33)变为了概率表达
$$\begin{array}{r}{h}_i^j(\mathbf{x})=P(C_j|\mathbf{x})\end{array}\text{\hspace{1em}(8.42)}$$
且${\sum }_{j=1}^{N}P(C_j|\mathbf{x})=1$，即投票人$h_i$认为$\mathbf{x}$以概率$P(C_j|\mathbf{x})$属于$C_j$类。

基于式(8.42)，可以导出“得票多者胜出”、“必须过半数”、“加权胜出”等游戏决策下的表达式。

在软投票法下没有式(8.37)，故基于式(8.37)的Bagging算法是基于硬投票的。 针对集成学习器$H(\mathbf{x})$的性能度量式(8.41)，既适合于硬投票，也适合于软投票。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权
  上一篇：8.4 GBDT算法（逐次估值逼近）
  下一篇：8.6 级联集成（Stacking算法、其他级联）