论文阅读 (十八)：Learning with Augmented Multi-Instance View (2014AMIV)

引入

  地址：http://129.211.169.156/publication/acml14.pdf
  要点：
  1）提出增强多示例视图框架，用以通过增强信息构建更好的模型；
  1.1）例子：仅有摘要信息可以利用时，摘要筛选任务可能会较困难，而当文档中参考文献的摘要作为增强信息时，其性能可能提高。
  1.2）如果每一个摘要表示为一个实例$\mathbf{x}$，添加增强信息后，其可以表示为一个实例-包对$(\mathbf{x},B)$。
  1.3）如果一个实例$\mathbf{x}$拥有标签$y$，则可以假设包$B$中至少有一个实例拥有同样标签。
  2）将实例和包看作是两个视角，提出了AMIV-lss方法用以建立两个视角的潜在语义空间 (latent semantic subspace (LSS))。

  AMIV使用范围：当增强信息以多示例包的形式提出时。

1 AMIV框架

1.1 Formulation

  符号表如下：

符号	含义
${\mathcal{X}}_S$	单实例视角下的实例空间
${\mathcal{X}}_A$	增强多示例视角下的实例空间
$\mathcal{Y}$	标签集合
$f:({\mathcal{X}}_S;2^{{\mathcal{X}}_A})\to \mathcal{Y}$	映射函数
D = { ( x i , B i , y i ) ∣ i = 1 , 2 , ⋯   , n } D = \{ (\boldsymbol{x}_i, B_i, y_i) \mid i = 1, 2, \cdots, n\} D={(xi​,Bi​,yi​)∣i=1,2,⋯,n}	数据集

1.2 AMIV-lss

  定义1：潜在语义子空间$J$ 表示实例$\mathbf{x}$的表示和相应的增强多示例视角下的包$B$的表示相互更近。
  直接指定$B$的表示是困难的，因为包中包含多个未知标签的实例。本文中，考虑为包$B$寻找一个实例原型$\mathbf{s}$，其能决定包的标签。
  具体的，一个两阶段的优化策略被采用：
  1）学习一个优化的潜在语义子空间；
  2）训练一个最大化边界的分类器。

1.2.1 习得实例表示

  令$X=[{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n]\in {\mathbb{R}}^{d\times n}$表示单实例视角下的$n$个实例。令$P_X=[{\mathbf{p}}_{{\mathbf{x}}_1},{\mathbf{p}}_{{\mathbf{x}}_2},\cdots ,{\mathbf{p}}_{{\mathbf{x}}_n}]\in {\mathbb{R}}^{t\times n}$表示$X$在$J$上的表示，其中${\mathbf{p}}_{{\mathbf{x}}_i}$表示实例${\mathbf{x}}_i$的表示。令$Q={[{\mathbf{q}}_1,{\mathbf{q}}_2,\cdots ,{\mathbf{q}}_t]}^{\top }\in {\mathbb{R}}^{t\times d}$表示$J$的基准，则有$X^{\top }=P_X^{\top }Q$。
  上述的表示已经在实际应用中展现，例如文本中${}^{[1]}$。该应用中，$X$是一个item-word矩阵，表示item与word的语义关系，$X^{\top }=P_X^{\top }Q$通过item的语义主题模式和word的语义主题模式之间的关系来进行建模。在这里，${\mathbf{p}}_{\mathbf{x}}$表示$\mathbf{x}$在语义主题$t$下的模式，$\mathbf{q}$表示word的语义主题模式。
  为了建立LSS以及获得实例在此空间的表示，本文采用非负矩阵分解 (non-negative matrix factorization (NMF))框架${}^{[2]}$：
$$\underset{P_X\ge 0,Q\ge 0}{\min }{\Vert X^{\top }-P_X^{\top }Q\Vert }_F^2+\Omega (P_X,Q),\text{\hspace{1em}(1)}$$其中$\Omega (P_X,Q)=\Vert P_X{\Vert }_1+\Vert Q{\Vert }_1$。
  令$Z=[B_1,B_2\cdots ,B_n]\in {\mathbb{R}}^{d\times r}$表示增强多示例视角下的实例，其中$r={\sum }_{i=1}^n{n}_i$；$P_Z=[P_{B_1},P_{B_2},\cdots ,P_{B_n}]\in {\mathbb{R}}^{t\times r}$表示$Z$在$J$上的表示，其中$P_{B_i}=[{\mathbf{p}}_{{\mathbf{b}}_{i1}},{\mathbf{p}}_{{\mathbf{b}}_{i2}},\cdots ,{\mathbf{p}}_{{\mathbf{b}}_{i,n_i}}]$表示${\mathbf{p}}_{{\mathbf{b}}_{ij}}$关于$\mathbf{i}\mathbf{j}$的表示。相应的，我们有：
$$\underset{P_Z\ge 0,Q\ge 0}{\min }{\Vert Z^{\top }-P_Z^{\top }Q\Vert }_F^2+\Omega (P_Z,Q).\text{\hspace{1em}(2)}$$

1.2.2 习得包表示

  为了确定包的表示，本文首先定义一个关于包$B$的关键原型$\mathbf{s}$，其能够决定包的标签。
  令$S=[{\mathbf{s}}_1,{\mathbf{s}}_2,\cdots ,{\mathbf{s}}_n]\in {\mathbb{R}}^{d\times n}$表示关键原型所在空间。令$P_S=[{\mathbf{p}}_{{\mathbf{s}}_1},{\mathbf{p}}_{{\mathbf{s}}_2},\cdots ,{\mathbf{p}}_{{\mathbf{s}}_n}]\in {\mathbb{R}}^{t\times n}$代表$S$的表示。因此，${\mathbf{p}}_{{\mathbf{s}}_i}$为包$B_i$的表示。相应的有：
$$\underset{P_S\ge 0,Q\ge 0}{\min }{\Vert S^{\top }-P_S^{\top }Q\Vert }_F^2+\Omega (P_S,Q).\text{\hspace{1em}(3)}$$  一个简单判断关键原型的方法为使用包中心的实例代表。然后，这样做的不足在于，如果一个正包拥有的负实例比正的多，那么中心很可能是负的，其与包标签相反。为了解决这个问题，实例将配合权重进行考虑。
  给定单实例视角实例$\mathbf{x}$，增强多示例视角包$B$中离该实例近的实例，有更高的概率与其标签一致，因此，这样的实例应该具有更高的权重。当然，这会带来另一个问题：当实例高维且稀疏时，实例间的距离比较将变得不可信。
  为了解决这个问题，一个局部线性假设${}^{[3]}$用于指定关键原型。假设原型${\mathbf{s}}_i$是包$B_i$中离${\mathbf{x}}_i$近的实例的线性组合，这些离的近的实例称为邻居，被定义入$J$。
  定义关于$B_i$的邻居指示向量${\mathbf{\delta }}_{\mathbf{i}}$及$k$个邻居${\mathrm{N}}_k$。因此，如果${\mathbf{p}}_{{\mathbf{b}}_{ij}}\in {\mathrm{N}}_k({\mathbf{p}}_{{\mathbf{x}}_i})$，则${\delta }_{ij}$为1；反正为0.
  令${\mathbf{\alpha }}_{\mathbf{i}}$是一个关于$B_i$的线性组合系数向量，则有$\mathbf{s}=B_i{\mathbf{\alpha }}_{\mathbf{i}}$，其中${\alpha }_{ij}=\exp ()$

---

参考文献：
[1] P.-W. Foltz, W. Kintsch, and T.-K. Landauer. The measurement of textual coherence with latent semantic analysis. Discourse processes, 25(2-3):285–307, 1998.
[2] C.-J. Hsieh and I.-S. Dhillon. Fast coordinate descent methods with variable selection for non-negative matrix factorization. In Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pages 1064–1072, 2011.
[3] S.-T. Roweis and L.-K. Saul. Nonlinear dimensionality reduction by locally linear embedding. Science, 290 (5500):2323–2326, 2000.