【论文阅读】Two-stage instance selection and adaptive bag mapping algorithm for multi-instance learning

1、基本信息

·题目：Two-stage instance selection and adaptive bag mapping algorithm for multi-instance learning

2、摘要

现有的MIL方法大都基于原始空间中的实例进行映射，但这些方法通常忽略了包的内部结构信息，难以保证所选实例与包在新特征空间中的关联性。为解决这一问题，本文提出一种多示例学习的两阶段实例选择和自适应包映射（TAMI）算法。
首先，第一阶段实例选择技术根据包中实例的密度值和关联性，挖掘包内结构特征，选取实例原型。其次，第二阶段实例选择技术选取具有峰值密度的实例原型作为代表实例。最后，自适应包映射技术通过定义新的映射函数，将包转换为单向量进行学习。

3、介绍

本文提出一种多示例学习习的两阶段实例选择和自适应包映射算法（the two-stage instance selection
and adaptive bag mapping algorithm for multi-instance learning, TAMI）。实例选择技术分为两个阶段。第一阶段利用包中实例的密度值和关联性，分析包内结构特征，选取实例原型；第二阶段根据实例原型分布的紧密程度，从中选出具有峰值密度的实例作为代表实例。
自适应包映射技术基于包与代表实例的自适应距离关系，通过差值处理，将其转化为单向量。

4、两阶段实例选择和自适应包映射算法

4.1 符号表示

符号	含义
τ = { X 1 , . . . , X i , . . . , X n } \tau=\left \{ X_{1},...,X_{i},...,X_{n} \right \} τ={X1​,...,Xi​,...,Xn​}	数据集
X i = { x i 1 , . . . , x i j , . . . , x i n i } X_{i}=\left \{ x_{i1},...,x_{ij},...,x_{in_{i}} \right \} Xi​={xi1​,...,xij​,...,xini​​}	包
$x_i$	第$i$个实例
y i = { − 1 , + 1 } y_{i}=\left \{ -1,+1 \right \} yi​={−1,+1}	$x_i$的标签
T = { t 1 , . . . , t i , . . . , t n } T=\left \{ t_{1},...,t_{i},...,t_{n} \right \} T={t1​,...,ti​,...,tn​}	实例原型集合
$t_i$	第$i$个实例原型
$p_i$	包$X_i$中所有实例的优先级
${\rho }_i$	包$X_i$中实例的密度值向量
$s_i$	包$X_i$中实例的关联值向量
$d_{jk}$	实例之间的距离

4.2 算法

两个阶段分别是：①在包内选取实例原型；②在实例原型池中选出代表实例。

①这一阶段是基于包内实例的优先级，选出具有包内部结构特征的实例原型。令$p_i$表示包$X_i$中所有实例的优先级，其计算公式为：
$$p_i={\rho }_i\times s_i\text{\hspace{1em}(1)}$$
其中，${\rho }_i$表示$X_i$中实例的密度值向量，$s_i$表示$X_i$中实例的关联值向量。具有最高优先级（$p_i$值最大）的实例被选作实例原型$t_i$。
${\rho }_i$的计算方式为DP（Density peaks）聚类算法中的Gaussian kernel函数。通过计算实例$x_{ij}$的密度来反映领域范围内的实例聚集程度，其计算公式为：
$${\rho }_{ij}=\sum _{k\ne j}^{n_i}{e}^{(\frac{d_{jk}}{d_c}{)}^2}\text{\hspace{1em}(2)}$$
其中，$d_{jk}$表示任意两个实例之间的距离， d c = μ ∗ m a x { d j k } d_{c}= \mu*max\left \{ d_{jk} \right \} dc​=μ∗max{djk​}表示实例$x_{ij}$领域范围的半径，$\mu \in [0,1]$表示给定阈值。

如图，显然实例3周围实例间距较大，通过（2）式可以得出实例3的密度值较大。领域范围内的实例聚集程度越高，密度值越大。

$s_{ij}$用于表示实例间的关联性，实例$x_{ij}$与实例$x_{ik}$之间的关联性计算公式为：
$$s_{ijk}=\{\begin{array}{ll}1,& d_{jk}\le d^{ave}\\ 0,& \text{else}\end{array}\text{\hspace{1em}(3)}$$
其中，$d^{ave}$是包内实例的平均距离，$d_{jk}$表示实例间距离。

如图，实例1的关联值为3，而实例4的关联值为4，那么实例4的关联性较强。实例与其他实例之间的关联性越强，就更能代表整个包的重要信息。
$$s_{ij}=\sum _{1\le k\le n_i}{S}_{ijk}\text{\hspace{1em}(4)}$$

②这一阶段是利用实例选择技术从实例原型集合$T$中选择一组峰值密度较大的实例原型作为代表实例，并构建代表实例池$R$。
此阶段需要计算代表实例$t_i$的密度值${\delta }_i$以及该实例与更高密度点的最近距离${\beta }_i$。前者通过（2）式计算，后者通过下列公式计算：
β i = min ⁡ j : δ j > δ i { d i j } (5) \beta_{i}=\min_{j:\delta_{j}>\delta_{i}}\left \{ d_{ij}\right \} \tag{5} βi​=j:δj​>δi​min​{dij​}(5)
同样，使用DP聚类中的计算方法，计算出实例原型集合中每个实例的${\lambda }_i$值，其中${\lambda }_i={\delta }_i\times {\beta }_i$。选出$T$中前$n_r$个${\lambda }_i$值最大的实例原型，构成代表实例池 R = { r 1 , . . . , r i , . . . , r n r } R=\left \{ r_{1},...,r_{i},...,r_{n_{r}} \right \} R={r1​,...,ri​,...,rnr​​}。

至此，两阶段以及全部结束了。剩下的就是进行自适应包映射处理。自适应包映射技术根据包中实例与代表实例间的最佳相似度进行映射，既突出了包的内部结构特征，也保证了包在新特征空间中的可区分性。映射过程如图所示：

可以看出映射需要三个东西：（1）包中实例$x_{ij}$与代表实例池$R$的距离向量 d j = { d j 1 , . . . , d j m , . . . , d j n r } d_{j}=\left \{ d_{j1},...,d_{jm},...,d_{jn_{r}}\right \} dj​={dj1​,...,djm​,...,djnr​​}，对应（c）。其中$d_{jm}\in d_j$表示实例$x_{ij}$与代表实例$r_m$之间的欧式距离；（2）实例$x_{ij}$的自适应目标索引 τ j = arg ⁡ min ⁡ 1 ≤ m ≤ n r { d j m } \tau_{j}=\arg \min_{1\le m\le n_{r}}\left \{ d_{jm} \right \} τj​=argmin1≤m≤nr​​{djm​}，即找到（c）中距离最小的实例索引值。对应（d）；（3）通过以上两个值来计算实例$x_{ij}$的自适应映射向量$v_{ij}$，即将包中每一个实例与（d）中找到的代表实例相减。对应（e）：
$$v_{ij}=x_{ij}-r_{{\tau }_j}\text{\hspace{1em}(6)}$$
最后，将计算得到的所有映射向量$v_{ij}$进行叠加得到$X_i$的映射向量$V_i$，对应（f）：
$$V_i=\sum _{j=1}^{n_i}{V}_{ij}\text{\hspace{1em}(7)}$$
进一步，对于$V_i$的每一个元素$V_{il}$都通过$V_{il}\leftarrow sign(V_{il})\sqrt{|V_{il}|}$进行处理，再有$V_i\leftarrow V_i/||V_i|{|}_2$对映射向量进行二范归一化。