【论文阅读】Multi-instance Ensemble Learning with Discriminative Bags

【论文阅读】Multi-instance Ensemble Learning with Discriminative Bags

时间：2022/8/9

1.摘要

多实例学习(MIL)比传统的监督学习更具一般性和挑战性，因为标签是在包级给出的。常用的特征映射方法是将每个包转化为新特征空间中的一个实例。但是，它们大多很难维持包的可分辨性，MIL模型不支持自我强化。

在本文中，我们提出了一种基于判别包的多实例集成学习(ELDB)算法。包选择技术根据两部分得到区别性包集(dBagSet)。首先，考虑数据的空间分布和标签分布，通过判别分析优化包选择过程，得到基本的dBagSet。其次，利用状态和动作的转移策略，通过自强化得到一个可区分性较好的dBagSet;集成技术用这些dbagset训练一系列分类器，得到最终的加权模型。实验结果表明，该方法优于目前最先进的MIL映射方法。

2.主要贡献

1.提出一种基于包辨别性分析的包选择技术。

2.提出一种基于包辨别性的自我强化算法，使得MIL模型支持自我强化。

3.提出一种MIL的集成学习算法。

3.符号系统

符号	含义
$\tau$	原始数据集
${\tau }_d\subset \tau$	基础数据集
${\tau }_s=\tau /{\tau }_d$	更新数据集
${\tau }_e\subset \tau$	具有辨别性包的数据集（dBagSet）
$Y=[y_1,...,y_N]$	标签向量
B i = { x i j } j = 1 n i B_i=\{x_{ij}\}_{j=1}^{n_i} Bi​={xij​}j=1ni​​	原始数据集中的第i个包
$x_{ij}$	第i个包的第j个实例
$y_i$	第i个包的标签
$N$	原始数据集的大小
$\psi$	辨别包数据集大小
$n_i$	第i个包的大小
$b_i$	第i个包的映射向量

4.算法描述

4.1包映射函数

$B_i\in \tau$通过如下映射函数映射到新的特征空间里：

$$f_b(B_i,{\tau }_e)\mapsto b_i=[b_{i{\zeta }_1},...,b_{i{\zeta }_{\psi }}]\text{\hspace{1em}(1)}$$

其中$b_{i{\zeta }_k}$为$B_i与B_{{\zeta }_k}$的相关值，这里选取的是平均 Hausdorff距离。

$$b_{ik}=||{\overline{x}}_i-{\overline{x}}_k||\text{\hspace{1em}(2)}$$

通过该映射函数，将数据集转换成新的向量集。

f m ( τ , τ e ) ↦ V = { b i } i = 1 N (3) f_m(\tau,\tau_e)\mapsto V=\{b_i\}_{i=1}^N\tag{3} fm​(τ,τe​)↦V={bi​}i=1N​(3)

4.2ELDB总体框架

如图所示便是ELDB的总体框架，为了提高MIL单模型的分类性能和稳定性，我们将数据集T随机分为基本数据集 τ d = { b ζ i } i = 1 N d \tau_d = \{b_{\zeta_i}\}_{i=1}^{ N_d} τd​={bζi​​}i=1Nd​​和更新数据集 τ s = { b ζ i } i = N d + 1 N \tau_s = \{b_{\zeta_i}\}_{i=N_d+1}^N τs​={bζi​​}i=Nd​+1N​，其中$1\le {\xi }_i\le n$，然后通过两个关键技术学习加权集成模型。

首先，使用两部分的包选择技术初始化dBagSet ${\tau }_e\subset \tau$。一部分是判别分析。通过考虑Td的空间分布和标签分布，我们得到了判别矩阵L和基本dBagSet ${\tau }_e^0$。另一部分是自我强化机制。对于${\tau }_s$的子集，采用自增强机制来判断dBagSet是否可以更新。通过这样，我们可以获得高判别性的数据集。

其次，集成技术根据SIL分类器$f_c(\cdot \cdot \cdot )$和指定的映射函数集成这些dBagSet。其步骤为：a)基础数据集和更新数据集分别映射为单实例$V_d^i$和$V_s^i$的集合；b)单实例模型$M_i$使用$V_d^i$和标签向量$[y_{{\zeta }_1},...,y_{{\zeta }_{N_d}}]$进行训练；c)根据$Mi和V_s^i$计算模型权重$w_i$。最后，对dBagSets、模型和权重进行集成，得到加权集成模型。

4.3包选择技术

一.辨别分析技术

通过改写MILDM的实例评估标准，即最大化不同类标记实例的距离，最小化相同类标记实例的距离，设$d_{ij}=d(f_b(B_{{\zeta }_i},{\tau }_e),f_b(B_{{\zeta }_j},{\tau }_e))$表示两个包之间的距离,则：

$$\underset{{\tau }_e\subseteq {\tau }_d\subset \tau }{\max }\sum _{y_{{\zeta }_i}\ne y_{{\zeta }_j}}{d}_{ij}\text{\hspace{1em}(4)}$$

$$\underset{{\tau }_e\subseteq {\tau }_d\subset \tau }{\max }\sum _{y_{{\zeta }_i}=y_{{\zeta }_j}}{d}_{ij}\text{\hspace{1em}(5)}$$

为将多目标优化转化为单目标优化，引入bag-link矩阵$\Delta =[{\delta }_{ij}{]}_{N_d\times N_d}$，其中:

$${\delta }_{ij}=\{\begin{array}{ll}{\lambda }_{ij},& y_{{\xi }_i}\ne y_{{\xi }_j}\\ -{\lambda }_{ij},& y_{{\xi }_i}=y_{{\xi }_j}\end{array}\text{\hspace{1em}(6)}$$

其中${\lambda }_{ij}>0$是一个超参，后面会设置为1.

这样，我们便得到了优化目标：

$$\underset{{\tau }_e\subseteq {\tau }_d\subset \tau }{\max }J({\tau }_d,{\tau }_e)=\frac{1}{2}\sum _{B_{{\xi }_i},B_{{\xi }_j}\in {\tau }_d}{d}_{ij}{\delta }_{ij}\text{\hspace{1em}(7)}$$

为了快速选择出dBagSet，我们引入对角包选择矩阵$Q=[q_{ij}{]}_{N_d\times N_d}$，和对角线矩阵$\Gamma =[{\gamma }_{ij}{]}_{N_d\times N_d}$其中${\gamma }_{ij}={\sum }_j{\delta }_{ij}$

其中如果i=j同时$B_{{\xi }_i}\in {\tau }_e,q_{ij}=1$,其他情况$q_{ij}=0$。则将包的距离公式改为：

$$d_{ij}=||Q{b}_{{\xi }_i}^{\ast }-Q{b}_{{\xi }_j}^{\ast }|{|}^2\text{\hspace{1em}(8)}$$

将优化目标调整为

$$J({\tau }_d,{\tau }_e)=\sum _{B_{{\xi }_k}\in {\tau }_e}{b}_{{\xi }_k}^{\ast }L(b_{{\xi }_k}^{\ast }{)}^T\text{\hspace{1em}(9)}$$

令

$$p_k=b_{{\xi }_k}^{\ast }L(b_{{\xi }_k}^{\ast }{)}^T\text{\hspace{1em}(10)}$$

$p_k$即为包的辨别优先级。将优化目标调整:

$$\underset{{\tau }_e\subseteq {\tau }_d\subset \tau }{\max }\sum _{B_{{\xi }_k}\in {\tau }_e}{p}_{{\xi }_k}\text{\hspace{1em}(11)}$$

则最终的初始dBagSet便选取优先级最高的前$\psi$个组成:

$${\tau }_e=bagSelection({\tau }_d,\psi )\text{\hspace{1em}(12)}$$

在初始化时基础包的选择方案有四种：

• Global(g) ：使用数据集所有包来生成dBagSet

• Positive §：使用所有正包

• Negative (n)：使用所有负包

• Balance (b)：选择等量的正面和负面辨别包

二，自增强机制

每次更新使用更新数据集${\tau }_s$的子集对基础数据集${\tau }_e^0$进行更新。使用更新子集${\tau }_s^i$中判别优先级最高的包与${\tau }_e$中判别优先级最低的包进行对比，若有新的更高优先级的包出现。则策略”a“：将新的包加入${\tau }_e$中；策略"r":使用新的包替换掉${\tau }_e$中优先级最小的包。

4.4集成技术

通过集成技术可以根据${\tau }_e$的每次更新的信息进行预测可以考虑到更多的信息，降低完全依赖单一模型的不确定性。

对于单个单实例分类器，使用训练数据训练模型：

$$M=f_c^{model}(V_d^i,Y_d^i)\text{\hspace{1em}(13)}$$

使用更新数据测试分类器性能：

$$w=f_c^{weight}(V_s^i,Y_s^i,M)\text{\hspace{1em}(14)}$$

进行预测：

$${\hat{y}}_i=f_c^{predict}(b_i,M)\text{\hspace{1em}(15)}$$

加权集成模型：$\mathrm{M}\leftarrow \mathrm{M}\cup (M_i,w_i,T_e^i)$

则包的预测标签：

$$y^{\ast }=sign(\sum _j{w}_j{Y}_{ij})\text{\hspace{1em}(16)}$$

ag{14}
$$

进行预测：

$${\hat{y}}_i=f_c^{predict}(b_i,M)\text{\hspace{1em}(15)}$$

加权集成模型：$\mathrm{M}\leftarrow \mathrm{M}\cup (M_i,w_i,T_e^i)$

则包的预测标签：

$$y^{\ast }=sign(\sum _j{w}_j{Y}_{ij})\text{\hspace{1em}(16)}$$