论文阅读 (四)：MILIS: Multiple Instance Learning with Instance Selection.

引入

  论文地址

学前娱乐

老公出差在外，晚上给老婆来了一个查岗电话，结果听到老婆那边有男人的声音，老公问:怎么你那边有男人？老婆说：隔壁王叔拿保鲜袋，过来装酸奶！突然老婆啊的一声。老公问：老婆怎么了？老婆说:天…气太……太冷了,我正给你做……嗯～做帽子呢～!我回答到老婆对我真好！！

摘要

一个好的摘要，就是看了之后就能明白这篇文章是拿来干啥的。

  为了提高多示例学习，在交替优化框架中通过以迭代方式将实例选择和分类器学习的步骤交织在一起的方式来做到这一点，以确保收敛。初始实例选择是通过在负实例上使用一个简单但有效的内核密度估计器来实现的。

算法过程

训练

  1）在训练样本中进行实例的选择，通过对负实例的分布进行建模并从每个正包中选择最负的实例来实现，这样做可以得到一组实例原型 Instance Prototypes （IPs），用 $x_i^{\ast (t)}$ 表示；他们中的每一个实例都是从正包中选择的。
  2）然后把多示例转化为单示例，用一种映射方法来映射，$z_i$ 代表映射后的第$i$ 个包，$s(B_i,x_j^{\ast (t)})$ 就表示他的第 $j$个特征向量（是包与实例原型的一个相似度），关于这个 $s(B_i,x_j^{\ast (t)})$，后面进行解答；
  3）然后用线性核 SVM 训练这些映射后的包向量，基于训练结果，更新和重新选择 IPs，重复 1-3 序列直到收敛。

测试

   测试就很简单了，直接用训练过程的实例原型来进行函数映射，得到向量，用SVM 模型预测。

实例选择和分类器学习

$A.$ 包级特征表示

   最小 Hausdorff 距离来计算包与实例的距离 $d(B_i,x)={\min }_{x_{i,j}\in B_i}\Vert x_{i,j}-x{\Vert }^2$ ，因此，包与实例的相似度
$$s(B_i,x_j^{\ast (t)})=\exp (-\lambda d(B_i,x))=\underset{x_{i,j}\in B_i}{\max }(\exp -\gamma \Vert x_{i,j}-x{\Vert }^2)\text{\hspace{1em}(1)}$$
   这里对正负包的相似度不一样，正包的相似度值更大，负包的相似度值更小

$B.$ 初始化实例原型

   1) 在训练集中选择实际存在的实例来构建相似度，从每个训练包中选取一个单独的实例来充当整个 IPs 的一个子集，显然，我们要在子集中用真正的正负实例来计算判别特征图；
   2) 在 DD 中直接选取正实例，对负包中所有的实例用 KDE 来建立模型
$$f(x)=\frac{1}{Z{\sum }_i{m}_i}\sum _{y_i=-1}\sum _{j=1}^{m_i}\exp \left(-\beta \Vert x-x_{i,j}^{-}\Vert \right)\text{\hspace{1em}(2)}$$
  $x_{i,j}^{-}$是第 $i$ 个负包中的第 $j$ 个实例，$Z$ 是一个常数（实验中被忽视）代表归一化因子，这个公式定义了负包的归一化概率密度函数.
   3）然后每一个包中实例根据概率密度函数都可以计算得到一个密度值，在正包中选取密度值最小的实例来作为实例原型，从负包中选取密度值最大的实例来作为实例原型 。

$C.$ 分类

   1）根据初始化原型，能够得到一组实例原型 { x 1 , ⋯   , x n } \{x_1,\cdots,x_n\} {x1​,⋯,xn​} $x_i$ 就是每个包选出来的实例原型；
   2）通过公式（1），每一个包可以映射得到这么一个向量
$${\mathbf{z}}_i=[s(B_i,x_1),\cdots ,s(B_i,x_n)]\text{\hspace{1em}(3)}$$
   3）然后用线性 SVM 训练得到模型

$D.$ 实例更新

   通过上一步，得到了一个包级别的 SVM 分类器，然后可以验证选择的 IPs，并更新这些IPs，那么怎么来更新呢？可以将其视为离散变量的优化问题，可以使用类似于协调下降的方法有效地解决离散变量；
   1）定义一组辅助变量 ${\varphi }_i$，每一个包都有一个辅助变量，${\varphi }_i$ 的取值范围在 { 1 , ⋯   , m i } \{1, \cdots,m_i\} {1,⋯,mi​} 之中 ${\varphi }_i=j$ 表示第 $i$ 个包中的第 $j$个实例被选中当实例原型；
   2）利用这些成分，我们现在根据变量 ${\varphi }_i$ 和分类器权重 $w$ 定义迭代框架下的优化问题:
$$\underset{\mathbf{w},\varphi }{\min }Q(\mathbf{w},\varphi )=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _i\ell \left(y_i,{\mathbf{w}}^{T}g\left(B_i,\varphi \right)\right)\text{\hspace{1em}(4)}$$
$$g\left(B_i,\varphi \right)=\left[s\left(B_i,{\mathbf{x}}_{1,{\varphi }_1}\right),\dots ,s\left(B_i,{\mathbf{x}}_{n,{\varphi }_n}\right)\right]\text{\hspace{1em}(5)}$$
  $\ell (y_i,f_i)$ 是公式(2)的损失函数，$g(B_i,\varphi )$ 在给定原型索引 ϕ = { ϕ 1 , ⋯   , ϕ n } \phi =\{\phi_1, \cdots, \phi_n\} ϕ={ϕ1​,⋯,ϕn​}的情况下指定第i个袋Bi的袋级特征映射，给定训练器SVM一个权重 $w$，就能够更新每个包中选择的实例原型 IP；
   3）我们用迭代的方式来更新每一个实例
$$\begin{gathered} {\varphi }_1^{(t+1)}=\arg \underset{j=1}{\overset{m_1}{\min }}\sum _i\ell \left({\mathbf{w}}^{T}g\left(B_i,\left\{j,\dots ,{\varphi }_n^{(t)}\right\}\right),y_1\right) \\ \cdots \\ {\varphi }_i^{(t+1)}=\arg \underset{j=1}{\overset{m_i}{\min }}\sum _i\ell \left({\mathbf{w}}^{T}g\left(B_i,\left\{\dots ,{\varphi }_{i-1}^{(t)},j,{\varphi }_{i+1}^{(t)},\dots \right\}\right),y_i\right) \\ \cdots \\ {\varphi }_n^{(t+1)}=\arg \underset{j=1}{\min }\sum _i\ell \left({\mathbf{w}}^{T}g\left(B_i,\left\{{\varphi }_1^{(t)},\dots ,j\right\}\right),y_n\right)\text{\hspace{1em}(6)} \end{gathered}$$
   ${\varphi }_i^{(t)}$ 和 ${\varphi }_i^{(t+1)}$ 分别表示第 $i$ 个包的旧新实例原型的下标。