论文阅读(八)：基于贝叶斯极限学习机的多示例学习

背景介绍

  多实例学习 (MIL) 最早由 Dietterich 等人提出作为一种预测药物活性的方法。之后，MIL 获得了许多成功的应用，例如改进的药物活性预测、文本分类、图像分类、目标检测 和股票预测。与其他机器学习框架不同，MIL 是新颖的，因为它包含带标签的袋子，而不是带标签的实例。每个包中的实例数量是不确定的，每个包的标签是可以观察到的，而每个包中的实例是不可观察的。按照规则，如果包中至少有一个正实例，则标签为正实例。 否则为负。这很重要，因为传统的单实例学习 (SIL) 方法不再解决 MIL 问题。
  在过去的几十年里，出现了大量的 MIL 方法来解决多实例问题。都可以概括为三种类型：
  [1]专门的算法结合MIL的特点。 这包括轴平行矩形方法，它通过获取实例的属性值来找到最合适的轴平行矩形;
  [2]基于分类算法的 MIL 算法。
  [3]基于问题转换思想的算法。这些包括通过嵌入式实例选择 (MILES) 的 MIL，由 Yixin 等人提出。 一种是将包嵌入实例空间，获取包的特征，然后使用1-SVM分类器训练实例。

存在的问题以及解决方案

  ELM 提出了随机初始化隐藏层的参数，并在应用Moore Penrose 广义逆的基础上通过最小均方方法确定输出权重。因此，计算成本远低于其他经典算法（例如，梯度下降、全局搜索、遗传算法、粒子群）。为了解决 MIL 分类问题，ELM 的多内核扩展 (MKELM) 提供了一种优雅的方法来规避隐藏层输出的计算并将其固有地编码在内核矩阵中。然而，MKELM 的潜在问题是如何为特定应用程序找到不同内核之间的最佳平衡，因为内核平衡参数通常取决于数据。王等人针对多实例问题的特点修改了特定的误差函数，提出了ELM-MIL。虽然 ELM-MIL 可以更快地学习，但 ELM 的有效性在很大程度上取决于选择的隐藏节点的数量（即网络结构）。与其他基准 MIL 算法相比，它的分类精度稍差，并且更容易受到隐藏节点的影响。
  基于上述观察，引入了基于贝叶斯 ELM (BELM)的 MIL 算法 (BELM-MIL) 以进一步提高分类性能。使用贝叶斯推理，BELM-MIL 可以通过适当的先验和自动正则化来缓解过度问题，在许多学习任务中显示出良好的分类性能。该方法在选择实例的前提下，采用基于贝叶斯网络的权重自学习方法学习实例中每个特征的权重，并根据权重计算包中每个实例的数学期望。
然后，从每个包中选择一个代表性实例，我们使用 BELM 训练分类器。

算法介绍

极限学习机（extreme learning machine，elm）

  ELM 是 Huang首次提出的单隐藏层前馈网络 (SLFN)。由于输入权重（即输入层和隐藏层之间的连接）和隐藏偏差是任意选择的，ELM 只需要设置算法执行的隐藏层节点数。因此，它可以实现极快的学习速度，优于 BP，并且具有更好的泛化性能。
  然而，它很难产生局部最优解。
  ELM, 由一个输入层、一个隐藏层和一个输出层组成。输入和隐藏层通过输入权重${\mathbf{w}}_i$ 连接，隐藏层和输出层通过输出权重${\mathbf{\beta }}_i$连接。每个隐藏神经元都有一个偏差$b_i$。
假设有一个训练集$({\mathbf{x}}_1,\cdots ,{\mathbf{x}}_N{)}^T$， 标签为$(y_1,\cdots ,y_N{)}^T$。
  具有L个节点的 SLFN 的输出可以简单地表述为$o(\mathbf{x})=[o_1(\mathbf{x}),\cdots ,o_L(\mathbf{x})]$，其中$\mathbf{x}$是输入实例。
  SLFN的结构可以表示如下：
$$o_i=\sum _{j=1}^L{\beta }_{j}g\left({\omega }_j\cdot x_i+b_j\right),i=1,\dots ,N$$
其中，$g(x)$是sigmoid激活函数：
$$g(x)=\frac{1}{1+\exp (-(\omega \cdot x+b))}.$$
, $\mathbf{\omega }$是一个$L\times N$的矩阵，${\mathbf{\omega }}_i=[{\omega }_{i1},{\omega }_{i2},\cdots ,{\omega }_{in}]$；
$\mathbf{b}$ 是一个$L\times 1$的向量，$b_i$是偏置。
假设$\mathbf{\beta }$是输出权值，SLFN 的结构可以简单地写为:
$$\mathbf{O}=\mathbf{H}\mathbf{\beta },$$
其中，$\mathbf{O}$是输出层，$\mathbf{O}=[{\mathbf{o}}_1,{\mathbf{o}}_2,\cdots ,{\mathbf{o}}_N{]}^T$；
$\mathbf{H}$为网络的$N\times L$个隐藏层输出矩阵，元素如下：
$$\mathbf{H}={\left[\begin{array}{ccc}g\left({\mathbf{\omega }}_1\cdot {\mathbf{x}}_1+b_1\right),& \cdots & g\left({\mathbf{\omega }}_{\mathbf{L}}\cdot {\mathbf{x}}_1+b_L\right)\\ ⋮& \ddots & ⋮\\ g\left({\mathbf{\omega }}_1\cdot {\mathbf{x}}_N+b_1\right),& \cdots & g\left({\mathbf{\omega }}_{\mathbf{L}}\cdot {\mathbf{x}}_N+b_L\right)\end{array}\right]}_{N\times L}$$

$\mathbf{\beta }=[{\mathbf{\beta }}_1,\cdots ,{\mathbf{\beta }}_L]$
其中第 i 行向量是${\mathbf{\beta }}_i=\left[{\beta }_{i1}{,\beta }_{i2},...,{\beta }_{in}\right]$. 这可以通过使用广义 Moore-Penrose 逆来确定，如下所示:
$$\hat{\mathbf{\beta }}={\mathbf{H}}^{†}\mathbf{Y},$$
其中${\mathbf{H}}^{†}=(\mathbf{H}\cdot \mathbf{H}{)}^{-1})$

贝叶斯极限学习机(BELM)

  贝叶斯推理提供了一种自动优化模型复杂性的自然方法。BELM基于贝叶斯线性方法优化输出层权重，改善了ELM的过拟合问题。随着贝叶斯理论的广泛应用，我们可以得出结论，大多数基于贝叶斯理论的模型的建立可以分为以下两个步骤。
  第一步找到模型参数的后验分布。假设 $\mathbf{w}$是参数集，$\mathbf{D}$是数据集。 因为模型的先验分布与似然函数成正比，所以先验分布可以简单定义为：
$$P(\mathbf{\omega }|\mathbf{D})=P(\mathbf{\omega })\cdot P(\mathbf{D}|\mathbf{\omega })$$

第二步是输出$y_{new}$可以由 ${\mathbf{x}}_{new}$的输入实例的 $\mathbf{x}$的后验分布的积分给出:
$$P\left(y_{new}\mid {\mathbf{x}}_{new},\mathbf{D}\right)=\int P\left(y_{new}\mid {\mathbf{x}}_{new},\omega \right)\cdot P(\omega \mid D)d\omega$$
  BELM 的高斯归一化与 ELM 的不同之处在于，正则化是高斯过程的自然结果。 相比之下，其他方法需要最小化成本函数的项。因此，BELM 可以实现比 ELM 更好的泛化。

论文算法

  BELM-MIL的概念图如下图
给定N个训练包，每个包包含多个实例，分类器训练主要有四个步骤：贝叶斯加权自学习； 实例选择； BELM 建模； 和预测。

基于贝叶斯网络的权重自学习

  贝叶斯网络通常由两部分定义：第一部分是有向无环图，其中每个节点代表一个随机变量，每个弧代表一个概率依赖关系。第二部分是每个属性的条件概率表（CPT），即属性在其父项下的条件概率分布。对于每个包中代表实例的选择，我们假设每个实例都有一个标签（即正的或负的），贝叶斯网络的目标是最大化从训练集中获得的总概率。因此，我们构建了一个用于权重自学习优化的贝叶斯网络，如下图所示。这里的 CPT 不是特征的条件概率表，而是相对于其父项的初始权重和特征值，即二元结构。贝叶斯网络中CPT项的计算类似于朴素贝叶斯分类中涉及的计算概率。

使用梯度下降算法训练贝叶斯网络，其目的是学习CPT的值:
假设$\mathbf{S}$是训练实例集$({\mathbf{X}}_1,{\mathbf{X}}_2,\cdots ,{\mathbf{X}}_s)$，$\mathbf{\omega }=[{\omega }_1,{\omega }_2,\cdots ,{\omega }_p{]}^T$是特征的初始权值。节点$e$在${\mathbf{X}}_d$处的先验概率为$p(e|{\mathbf{X}}_d)$，即CPT二进制结构中的特征值。学习的目标是最大化$P_{\mathbf{\omega }}(\mathbf{S})={\prod }_{d=1}^s{P}_{\omega }({\mathbf{X}}_d)$，其中$P_{\omega }(\mathbf{S})$是训练实例的总概率，$P_{\omega }{\mathbf{X}}_d)$是实例${\mathbf{X}}_d$的总概率；有个$\ln (a)$梯度计算，就有：
$$\begin{array}{rl}\ln P_{\omega }(\mathbf{S})& =\ln \prod _{d=1}^S{P}_{\omega }\left({\mathbf{X}}_{\mathbf{d}}\right)\\ & =\ln \left(\frac{\omega }{p\left(e\mid {\mathbf{X}}_1\right)}\cdot \dots \cdot \frac{\omega }{p\left(e\mid {\mathbf{X}}_{\mathbf{d}}\right)}\right)\\ & =\ln \frac{\omega }{p\left(e\mid {\mathbf{X}}_1\right)}+\dots +\ln \frac{\omega }{p\left(e\mid {\mathbf{X}}_{\mathbf{d}}\right)}\end{array}$$

我们随机初始化 $\omega$ 并使用梯度下降算法更新它。
因此可以推导出迭代过程。
    a) 根据式计算网络中每个属性的梯度：
$$\begin{array}{rl}\frac{\partial \ln P_{\omega }(\mathbf{S})}{\partial \omega }& =\frac{p\left(e\mid {\mathbf{X}}_1\right)}{\mathbf{\omega }}+\frac{p\left(e\mid {\mathbf{X}}_2\right)}{\omega }+\dots +\frac{p\left(e\mid {\mathbf{X}}_{\mathbf{d}}\right)}{\omega }\\ & =\sum _{d=1}^S\frac{p\left(e\mid {\mathbf{X}}_d\right)}{\mathbf{\omega }}\end{array}$$
    b) 沿梯度移动一小步以更新权重 $\omega$：其中$l$ 是步进学习率，一个非常小的值；
$$\omega \leftarrow \omega +(l)\frac{\partial \ln P_{\omega }(S)}{\partial \omega }$$
    c) 然后，可以将 $\omega$归一化为 (0, 1)；
    d) 当$\frac{\partial \ln P_{\omega }(\mathbf{S})}{\partial \omega }<k$，$\omega$的训练将结束，否则，转到a)。

实例选择

  对于每个实例 ${\mathbf{x}}_{ij}$，在袋子$B_i$ 中，数学期望可以计算如下：
$$Y_{ij}=\sum _{k=1}^p{x}_{ijk}\ast {\omega }_k$$
  然后，我们选择实例 ${\mathbf{x}}_{ij}$，它有 $\max (Y_{ij})$ 来表示袋子 Bi。 因此，MIL 问题可以转换为 SIL。

BELM模型

对于选定的实例$({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_N)$，假设 每一个标签$y$都有一个独立噪声$\xi$，它遵循高斯分布$\mathcal{N}(0;{\delta }^2)$，那么$y$可以写成：
$$y=\mathbf{H}\mathbf{\beta }+\xi$$
，其中$\mathbf{H}$是隐藏层的输出权重，概率模型和似然函数可以推导处如下：
$$\begin{array}{rl}P\left(y\mid \mathbf{H},\beta ,{\sigma }^2\right)& =\prod _{i=1}^{N}p\left(y_i\mid H,\mathbf{\beta },{\sigma }^2\right)\\ & =\prod _{i=1}^N\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{{\left(y_i-h\left({\mathbf{x}}_i\right)\mathbf{\beta }\right)}^2}{2{\sigma }^2}\right)\end{array}$$
为了惩罚过重，自然先验分布定义如下：
$$p(\mathbf{\beta }\mid \alpha )=\mathcal{N}\left(0;{\alpha }^{-1}\mathbf{I}\right)={\left(\frac{\alpha }{2\pi }\right)}^{\frac{L}{2}}\exp \left(-\frac{\alpha }{2}{\mathbf{\beta }}^T\mathbf{\beta }\right)$$
，其中$\mathbf{I}$是单位矩阵，$\alpha$是共享先验，这是高斯方法的自然结果。

因为先验分布和似然函数遵循高斯分布，后验可以推导如下：
$$p\left(\mathbf{\beta }\mid \alpha ,{\sigma }^2,y\right)=\frac{p\left(y\mid \beta ,{\sigma }^2\right)p(\beta \mid \alpha )}{p\left(y\mid \alpha ,{\sigma }^2\right)}$$
它也遵循均值为 $ \boldsymbol{m}$ 方差为 $\mathbf{v}$ 的高斯分布，如下所示：
$$\mathbf{m}={\sigma }^{-2}\cdot \mathbf{v}\cdot {\mathbf{H}}^{T}Y$$
$$boldsymbolv={\left(\alpha \mathbf{I}+{\sigma }^{-2}\cdot {\mathbf{H}}^T\cdot \mathbf{H}\right)}^{-1}$$
因此，我们可以通过[32]的证据程序得到超参数的最优值，并且可以通过以下不动点公式计算最优条件:
$$\alpha \leftarrow \frac{L-\alpha \cdot \mathrm{trace}[v]}{{\mathbf{m}}^T\mathbf{m}}$$
$${\sigma }^2\leftarrow \frac{{\sum }_{i=1}^N{\left(y_i-h\left(x_i\right)\mathbf{m}\right)}^2}{N-L+\alpha \cdot \mathrm{trace}[v]}$$
其中 N 是模式的数量。 通过初始化$\alpha$和$\sigma$，$\mathbf{m}$和$\mathbf{v}$根据上面公式迭代更新直到收敛。最后，可以根据输入 ${\mathbf{x}}_{new}$ 应用 $\mathbf{m}$ 来预测新的输出 $y_{new}$。

预测

对于测试数据集 $\hat{B}$，可以按照与训练数据相同的方式选择代表性实例。 然后可以预测每个包的标签：
$$\begin{array}{rl}p\left(\hat{y}\mid \alpha ,{\sigma }^2,\mathbf{h}(\hat{\mathbf{x}})\right)& =\mathcal{N}\left(\mathbf{h}(\hat{\mathbf{x}})\mathbf{m};\widehat{{\sigma }^2}\right)\\ & =\int p\left(\hat{y}\mid \beta ,{\sigma }^2,\mathbf{h}(\hat{\mathbf{x}})\right)p\left(\beta \mid \alpha ,{\sigma }^2,y\right)d\beta \end{array}$$
其中，$\mathbf{h}(\hat{\mathbf{x}})=\left[h_1(\hat{\mathbf{x}}),\dots ,h_L(\hat{\mathbf{x}})\right]$和${\sigma }^2(\hat{\mathbf{x}})={\sigma }^2+h(\hat{\mathbf{x}}{)}^T\cdot \mathbf{v}\cdot h(\hat{\mathbf{x}}{)}^T$。等式\ref{equation:20}页遵循具有平均值和方差的高斯分布，如下所示：
$$\hat{m}=h(\hat{\mathbf{x}})\cdot m$$
$$\widehat{{\sigma }^2}={\sigma }^2+h(\hat{\mathbf{x}})\cdot \mathbf{v}\cdot \mathbf{h}(\hat{\mathbf{x}}{)}^T$$
最后，使用 Sigmoid 函数将类标签 $y$ 映射到 (0,1)。 如果$y>0.5$，这个包的标签是正的。 否则为负。