论文阅读(七)：Dual-stream Maximum Self-attention Multi-instance Learning （DMSMIL）

引入

  很久没有看论文和写博客，现在把最近看的一篇多示例学习（MIL）的论文解读一下，希望有所收获。

前言

  该篇论文提出了一种由神经网络参数化的双流最大自注意的MIL模型（DSMIL）；
  主要步骤：1）第一流部署了一个简单的 MIL max-pooling，并确定了top激活的嵌入实例；2）在第二个流中，通过仅将顶部激活的查询与包中的实例相关联，跨实例计算注意力得分。
  特点：基于相同的实例嵌入来训练一个实例分类器和包分类器。

方法

问题表述

  包：$B=(x_1,y_1),\cdots ,(x_n,y_n)$；实例：$x_i\in X$；实例标签：$y_i\in 0,1$
  包的标签：$c(B)=1-\prod _{i=1}^n(1-y_i)$；
  假设有一些合适的变换$f$和$g$，则 $c(B)=g(f(x_0),\cdots ,f(x_n))$。
  关于函数 $f$ 和 $g$，MIL有两种模型处理方式：1） 基于实例的方法：$f$ 是实例级别的分类器，它为每个实例生成一个类别评分，$g$ 是一个池化运算符，用于汇总实例评分以生成袋评分；2） 基于嵌入的方法：$f$ 是实例级特征提取器，将每个实例映射到一个嵌入，$g$ 是一个聚合函数，它首先将所有实例嵌入映射到一个包嵌入，并根据该包嵌入生成一个包得分。

双流MIL聚合

   $\mathbf{H}=\left[{\mathbf{h}}_0,\dots ,{\mathbf{h}}_{N-1}\right]\in {\mathbb{R}}^{L\times N}$ 是嵌入实例的包，其中 ${\mathbf{h}}_i$ 是第 $i$ 个实例的嵌入。
  第一个流是一个具有 MIL max-pooling 的实例级别分类器:
c m = max ⁡ { W 0 h 0 , … , W 0 h N − 1 } \mathbf{c}_{m}=\max \left\{\mathbf{W}_{0} \mathbf{h}_{0}, \ldots, \mathbf{W}_{0} \mathbf{h}_{N-1}\right\} cm​=max{W0​h0​,…,W0​hN−1​}其中，${\mathbf{W}}_0$是一个全连接层的权值矩阵。
  第二个流从嵌入实例学习到嵌入包，并且学习包分类器给嵌入包打分。
  步骤1）：通过第一流得到最优激活嵌入实例 ${\mathbf{h}}_m$，然后将嵌入实例转换成两个向量 ：查询向量 ${\mathbf{q}}_i\in {\mathbb{R}}^{L\times 1}$ 和 信息向量 ${\mathbf{v}}_i\in {\mathbb{R}}^{L\times 1}$,
$${\mathbf{q}}_i={\mathbf{W}}_q{\mathbf{h}}_i,{\mathbf{v}}_i={\mathbf{W}}_v{\mathbf{h}}_i,i=0,\dots ,N-1$$, 其中 ${\mathbf{W}}_q$ 和 ${\mathbf{W}}_v$是两个全连接层的权值矩阵。
  步骤2）：最大自注意力向量的每一个属性 $a_i$ :
$$a_i=\frac{\exp \left({\mathrm{s}}_i\right)}{{\sum }_{i=0}^{N-1}\exp \left({\mathrm{s}}_i\right)},s_i=⟨{\mathbf{q}}_i,{\mathbf{q}}_m⟩,i=0,\dots ,N-1$$
  步骤3）：嵌入包 $\mathbf{b}\in {\mathbb{R}}^{L\times 1}$:
$$\mathbf{b}=\sum _i{a}_i{\mathbf{v}}_i$$其中，求和的操作是对每个元素都求和。
  步骤4）：包的得分 $\mathbf{c}\in {\mathbb{R}}^{L\times 1}$:
$${\mathbf{c}}_b={\mathbf{W}}_1\mathbf{b}$$，${\mathbf{W}}_1$ 是一个全连接层的权值矩阵。
  步骤5）：最后包的得分是两个流得分的权值和：
$$\hat{\mathbf{c}}=(1-\lambda ){\mathbf{c}}_m+\lambda {\mathbf{c}}_b,\lambda \in [0,1]$$