【论文泛读】2017-1-Dynamic Programming for Instance Annotation in Multi-instance Multi-label Learning

题目

多实例多标签学习中实例注释的动态规划（Dynamic Programming for Instance Annotation
in Multi-instance Multi-label Learning）

Bib

@article{Pham:2017:23812394,
  author={Anh T Pham and Raviv Raich and Xiaoli Z Fern},
  title={Dynamic programming for instance annotation in multi-instance multi-label learning},
  journal={{IEEE} transactions on pattern analysis and machine intelligence},
  volume={39},
  pages={2381--2394},
  year={2017},
  publisher={IEEE}
}

摘要

为分类标记数据需要大量的人力。为了降低标记成本，而不是标记每个实例，一组实例（包）由单个包标签标记。然后使用计算机算法来推断袋子中每个实例的标签，这一过程称为实例注释。由于实例标签的模糊性，这项任务具有挑战性。
我们为实例注释问题提出了一个判别概率模型，并基于最大似然方法引入了一个用于推理的期望最大化框架。对于许多概率方法，给定其包标签的实例标签后验概率的蛮力计算，是包中实例数量的指数。我们的贡献是一种动态规划方法，用于计算与实例数量呈线性关系的后验(posterior)。我们在鸟鸣、图像注释和活动识别领域使用基准数据集和真实世界数据集来评估我们的方法。在许多情况下，所提出的框架在实例标签预测和包标签预测方面都优于当前最先进的 MIML 学习方法，有时甚至是显着的。

方法概述

我们开发了一个具有有效推理方法的判别概率模型，该方法考虑了每个包中的所有实例。
（1）首先，我们针对实例标注问题提出了判别 ORed-logistic 回归模型。
（2）其次，我们提出了一个期望最大化框架来促进最大似然推断。
（3）第三，我们在 E 步中引入了一种计算效率高且精确的后验概率计算算法。
（4）最后，我们证明了这种方法在包级预测和实例级预测方面优于鸟鸣、图像注释和活动识别等各个领域
我们针对该问题提出了 OR-ed 逻辑回归模型，并使用期望最大化框架来促进模型参数的最大似然估计。
专注于如何在给定袋级标签的情况下有效地计算精确的实例标签后验概率以保持尽可能高的准确性。
我们通过使用动态规划方法来应对这一挑战，计算复杂度与每个袋子的实例数成线性关系。

相关概念

MIML:实例被分组到包中，每个包都标有包标签集
包括：（i）学习包级标签分类器和（ii）学习实例级分类器
包级标签分类器算法：MIMLBoost、MIMLSVM 、CitationkNN、Bayesian-kNN
实例级别分类器：M3MIML、SIM

步骤

一、判别 ORed-logistic 回归模型

通过多项式逻辑回归函数对实例标签$y_{bi}$与特征向量$x_{bi}$之间的概率关系建模。
$w_c$ 是第 c 个类别得分函数的权重
$w=[w_1,\dots ,w_C]$

二、获得 w 的 MIML 最大似然估计

通过一系列推导得到对数似然函数（6）

三、期望最大化（EM）
文中提出了一种期望最大化（EM）方法来最大化（6）
在 EM 中，引入了隐藏变量$\mathcal{Y}$来开发对数似然的代理函数。EM 框架在代理函数 w.r.t.θ 的计算和最大化之间交替
四、提出的 ORedLR 模型的期望最大化
参数$\theta =\text{w}$
隐藏数据： Y = { y 1 , … , y B } \mathcal{Y}=\{y_1,\dots,y_B\} Y={y1​,…,yB​}
E-step:计算实例标签后验概率
动态规划方法:使用前向和替换算法的实现每个袋子的 E-step
M-step：最大化，计算KaTeX parse error: Undefined control sequence: \textbbf at position 1: \̲t̲e̲x̲t̲b̲b̲f̲{w}

五、预测实例标签

预测包标签：实例标签的并集

实验

HJA birdsong, 鸟鸣
MSCV2, 图像注释数据集
Letter Frost,
Letter Carroll ，包是由两首诗的单词创建的，每个包的实例是它们的字母；每首诗都缺少两个字母。因此，我们只考虑每个数据集中的 24 个类
Voc12图像注释数据集
50Salad，活动识别