[论文阅读] Two-stage instance selection and adaptive bag mapping algorithm for multi-instance learning

[论文阅读] Two-stage instance selection and adaptive bag mapping algorithm for multi-instance learning

时间：2022/7/1

1.题目信息

多示例学习习的两阶段实例选择和自适应包映射算法（the two-stage instance selection and adaptive bag mapping algorithm for multi-instance learning, TAMI）

2.问题描述

多示例学习（MIL）研究对象的内部结构比单示例学习更加复杂。已有的 MIL 方法大都基于原始 空间中的实例进行包映射。这些方法通常忽略了包的内部结构信息，难以保证所选实例与包在新特征空 间中的关联性。

3.主要贡献

提出一种多示例学习的两阶段实例选择和自适应包映射（TAMI）算法。结果表明，TAMI 在图像检索和医学图像数据集上取得了比其它 MIL 算法 更好的效果，并在文本分类数据集上的表现良好。

4.符号系统

符号	含义
$X_i$	第i个包
$X_{ij}$	第i个包的第j个实例
$n$	数据集包个数
$n_i$	第i个包中实例数量
$y_i\in{{-1,+1 }} $	第i个包标签
$\tau$	给定数据集
$T$	实例原型池
$R$	代表对象

5.算法思想

实例选择技术分为两个阶段选 择数据空间的代表实例。第一阶段利用包中实例的密度值和关联性，分析包内结构特征，选取实例原型； 第二阶段根据实例原型分布的紧密程度，从中选出具有峰值密度[14]的实例作为代表实例。自适应包映射 技术基于包与代表实例的自适应距离关系，通过差值处理，将其转化为单向量。

5.1.实例原型选择

这部分算法基于密度峰值聚类算法(DPC)改进的，计算实例原型优先级，选取优先级最高的前n个组成实例原型池。优先级的计算如下：
$$p_i={\rho }_i\ast s_i\text{\hspace{1em}(1)}$$
和DP算法不同的地方便是距离度量变成实例关联性度量$s_i$，而密度的计算和DP算法一致
$${\rho }_i=\sum _{k\ne j}^{n_i}{e}^{(\frac{d_{jk}}{d_c}{)}^2}\text{\hspace{1em}(2)}$$
密度的计算采用的是高斯核，半径$d_c$采用是max Hausdorff距离。

实例之间关联性度量的计算如下：
$$s_{ijk}=\{\begin{array}{ll}1,& \text{djk≤dave}\\ 0，& else\end{array}\text{\hspace{1em}(3)}$$
采用包内实例的平均距离$d^{ave}$作为判别标准，对每个实例统计周围距离小于$d^{ave}$的实例数量，有些类似于截断核。故$实例X_{ij}的总关联性度量$为：
$$s_{ij}=\sum _{k=1}^{n_j}{s}_{ijk}\text{\hspace{1em}(4)}$$
利用公式（1）可计算$X_i$所有实例的优先级，选取 优先级最高的实例作为实例原型$t_i$，则$T=t_1,...,t_j,...,t_n代表$实例原型池。

感觉第一阶段是将高斯核与截断核结合起来使用的。

5.2.代表对象选择

这部分主要是将实例原型池按照DP算法进行优先级计算
$$p_i={\rho }_i\ast d_i\text{\hspace{1em}(5)}$$
按照DP算法，$d_i$是实例原型i距离其master的距离，其密度同样采用高斯核计算，即公式（2）。从$T$选取优先级最大的前$n_r$个优先级最大的实例原型构成代表实例池 R = { r 1 , . . . , r j , . . . , r n r } R=\{{r_1,...,r_j,...,r_{n_r}}\} R={r1​,...,rj​,...,rnr​​}

5.3.自适应包映射技术

自适应包映射技术根据包中实例与代表实例间的最佳相似度进行映射，既突出了包的内部结构特征， 也保证了包在新特征空间中的可区分性。

对于给定的包Font metrics not found for font: .，其映射过程如上图所示：1） 计 算 包 中 实 例 𝒙 i j 与 代 表 实 例 池 𝑹 的 距 离 向 量 𝒅 j = { 𝑑 j 1 , ⋯ , 𝑑 j m , ⋯ , 𝑑 j n r } 计算包中实例𝒙_{ij}与代表实例池𝑹的距离向量𝒅_j = \{𝑑_{j1}, ⋯ , 𝑑_{jm}, ⋯ , 𝑑_{jn_r} \} 计算包中实例xij​与代表实例池R的距离向量dj​={dj1​,⋯,djm​,⋯,djnr​​}，$其中d_{jm}\in {\mathbf{d}}_j表示{\mathbf{x}}_{ij}与{\mathbf{r}}_m\in \mathbf{R}的欧式距离$；
2）$计算{\mathbf{x}}_{ij}$的自适应目标索引 τ i = a r g min ⁡ 1 < m < n r { d j m } \tau_i=arg \min _{1<m<n_r \{{d_{jm}}\}} τi​=argmin1<m<nr​{djm​}​；

3）$计算{\mathbf{x}}_{ij}的自适应映射向量{\mathbf{v}}_{ij}：$
$$v_{ij}=x_{ij}-r_{{\tau }_j}\text{\hspace{1em}(6)}$$
4)将所有$v_{ij}进行叠加得到X_i的映射向量V_i$:
$$V_i=\sum _{j=1}^{n_i}{V}_{ij}\text{\hspace{1em}(7)}$$
进一步，对于${\mathbf{V}}_i$的每一个元素$V_{il}通过V_{il}\leftarrow sign(V_{il})\sqrt{|V_{il}|}进行处理$，再由${\mathbf{V}}_i\leftarrow {\mathbf{V}}_i/\Vert {\mathbf{V}}_i{\Vert }_2对映射向量进行二范归一化$。最后利用$({\mathbf{V}}_i,y_i)$ 训练单实例分类器ℱ(⋅)。

6.小结

师兄的这篇文章将密度峰值聚类的思想运用的很熟练，多次使用密度计算来确定对象优先级，用以确定代表实例对象的选取。