时序行为检测论文：Step-by-step Erasion, One-by-one Collection: A Weakly Supervised Temporal Action Detector

Step-by-step Erasion, One-by-one Collection: A Weakly Supervised Temporal Action Detector

Jia-Xing Zhong, Nannan Li, Weijie Kong, Tao Zhang, Thomas H. Li, and Ge Li. 2018. Step-by-step Erasion, One-by-one Collection: A Weakly Supervised Temporal Action Detector. In Proceedings of the 26th ACM international conference on Multimedia (MM '18). Association for Computing Machinery, New York, NY, USA, 35–44. https://doi.org/10.1145/3240508.3240511

Abstract：Weakly supervised temporal action detection is a Herculean task in understanding untrimmed videos, since no supervisory signal except the video-level category label is available on training data. Under the supervision of category labels, weakly supervised detectors are usually built upon classifiers. However, there is an inherent contradiction between classifier and detector; i.e., a classifier in pursuit of high classification performance prefers top-level discriminative video clips that are extremely fragmentary, whereas a detector is obliged to discover the whole action instance without missing any relevant snippet. To reconcile this contradiction, we train a detector by driving a series of classifiers to find new actionness clips progressively, via step-by-step erasion from a complete video. During the test phase, all we need to do is to collect detection results from the one-by-one trained classifiers at various erasing steps. To assist in the collection process, a fully connected conditional random field is established to refine the temporal localization outputs. We evaluate our approach on two prevailing datasets, THUMOS’14 and ActivityNet. The experiments show that our detector advances state-of-the-art weakly supervised temporal action detection results, and even compares with quite a few strongly supervised methods.

Intro：

• 弱监督时间动作检测在理解未修剪视频方面是一项艰巨的任务，因为除了视频级别的类别标签之外没有任何监督信号可用于训练数据。
• 在类别标签的监督下，弱监督检测器通常建立在分类器之上。但是，分类器和检测器之间存在着内在的矛盾；即，追求高分类性能的分类器更喜欢极其碎片化的顶级判别视频剪辑，而检测器必须发现整个动作实例而不会丢失任何相关片段。
• 本文通过驱动一系列分类器来训练检测器，通过从完整视频中逐步擦除来寻找动作片段。

本文目标问题：

本文尝试解决的问题是时序行为检测问题。在该问题上，模型预测动作类别以及动作实例在视频中的时间位置。在弱监督学习任务中，仅提供视频级别的类别标签作为监督信号，并且在训练过程中未修剪包含与背景混合的动作实例的视频剪辑。

本文贡献：

1. 本文提出了一个弱监督模型来检测未修剪视频中的时间动作。该模型通过对视频的逐步擦除进行训练，以获得一系列分类器。在测试阶段，通过收集一对一分类器的检测结果，可以方便地应用模型。
2. 本文第一个将FC-CRF 引入时序行为检测任务的工作，它被用来结合人类的先验知识和神经网络的普通输出。实验结果表明，FC-CRF 在 ActivityNet 上将检测性能提高了 20.8% mAP@0.5。
3. 我们对两个具有挑战性的未修剪视频数据集进行了广泛的实验，即 ActivityNet 和 THUMOS’14 ；结果表明，我们的检测器在使用许多强监督方法的时间动作检测方面取得了相当的性能。

模型结构

模型由两部分组成：对视频进行逐步擦除的训练和通过从一对一分类器收集结果进行测试。在训练过程中，逐步删除动作发生置信度高的片段。通过这样做，本文获得了一系列分类器，它们对不同类型的动作片段具有各自的偏好。在测试阶段，根据训练好的分类器迭代地选择带有动作实例的片段，并通过 FC-CRF 细化融合结果。

逐步擦除训练

如图所示，交替使用 3 个操作：擦除概率计算、片段擦除和分类器训练。
假设视频 V = { v n } n = 1 N V=\left \{ v_n\right \}^N_{n=1} V={vn​}n=1N​包含$N$个片段，具有$K$个视频级别的类别标签 Y = { y k } k = 1 K Y=\left \{ y_k\right \}^K_{k=1} Y={yk​}k=1K​。给定由参数$\theta$控制的片段分类器，可以得到普通分类得分$\varphi (V;\theta )\in {\mathbb{R}}^{N\times C}$,$C$是所有类别的数量。
在第t个擦除步骤，将视频剩余片段表示为$V^t$,分类器表示为${\theta }^t$，对分类得分$\varphi (V^t;{\theta }^t)$的第i行${\varphi }_i$（第$i$个剪辑的原始分类分数）。使用Softmax归一化计算第j类的片段内概率：
$$p_{i,j}(V^t)=\frac{exp({\varphi }_{i,j})}{{\sum }_{c=1}^{C}exp({\varphi }_{i,c})}\text{\hspace{1em}(1)}$$
但是softmax 变换可能会放大背景剪辑的噪声激活响应。此外，仅对单个片段进行建模不足以利用整个视频中不同片段之间的全局信息。因此定义了关于第j类在第i个片段的片段间软掩码:
$$a_{i,j}(V^t)={\delta }_{\tau }(\frac{{\varphi }_{i,j}-min{\varphi }_{:,j}}{max{\varphi }_{:,j}-min{\varphi }_{:,j}})\text{\hspace{1em}(2)}$$
其中
$${\delta }_{\tau }(.)=\{\begin{array}{ll}1& if.>\tau \\ \frac{.}{\tau }& otherwise\end{array}\text{\hspace{1em}(3)}$$
阈值$\tau$代表擦除标准有多严格，$\tau$越大代表视频越少
掩码$a_{i,j}$可以减轻背景片段的噪声，擦除几率通过如下公式计算：
$$s_{i,j}(V^t)=a_{i,j}(V^t)p_{i,j}(V^t)\text{\hspace{1em}(4)}$$
在当前擦除步骤$t$结束时，我们根据其擦除概率$s$从剩余视频中删除片段，并在下一个擦除步骤$t+1$中利用剩余片段训练一个新的分类器。具体算法如图所示：

算法解析

• 首先输入初始化分类器参数${\theta }^0$，软掩膜阈值$\tau$，包括视频和标签的训练集$D^0$
• 在第$t$次擦除中，使用第t-1次擦除后的训练集$D^{t-1}$和${\theta }^{t-1}$训练${\theta }^t$。将$D^t$初始化为空集， 对$D^{t-1}$中的所有视频$V^{t-1}$计算分类得分和软掩膜，进而计算擦除几率$s$， 获取擦除片段 E = { v i ∣ s i , j ( V t ) > ϵ i } E=\left \{ v_i|s_{i,j}(V^t)>\epsilon_i\right \} E={vi​∣si,j​(Vt)>ϵi​}，从其中擦除$E$,获得新的片段。

除此之外：
通过过度擦除挖掘出来的分散的视频片段很难组合成一个连续的片段。因此，在第 T 步的第 j 个类别的整数擦除段的归一化数量是一个有用的标准：
$$m_j^T=\frac{M_j^T}{M_j^1}\text{\hspace{1em}(5)}$$
其中 MTj 由删除了直到第 T 步的连续剪辑的视频片段组成，其基数由 |M1j | 归一化。以减轻各种动作时长的干扰。