论文阅读：Temporal Structure Mining for Weakly Supervised Action Detection

作者贡献

提出了时间结构挖掘(TSM)方法
图2显示了提出的时间结构挖掘(TSM)方法的体系结构。如图所示，一个未修剪的视频被分割成多个段，这些段的特征来自于主干网络。阶段滤波器以分段级特征作为输入，生成阶段级置信分表。将动作检测转化为在分数表中寻找最大循环路径，利用最大循环路径的分数计算分类损失。梯度是根据更新TSM的损失推导出来的。

与SMS比较

1. TSM引入了一个额外的背景阶段来对背景建模，它在一个未修剪的视频中分离多个动作实例。简单但有效地解决了包含多个动作实例的视频中的动作检测问题。
2. 在SMS中，阶段按照开始(a0)-中间(a1)-结束(a2)顺序发展。因此，它只能对单个操作实例建模。相比之下，TSM则是按照一个循环的顺序发展，并有效地对包含多个动作实例的视频进行建模。

方法

定义

1. 对于给定的视频$V$，分解成$N$个短片段$[S_1,S_2,...,S_N]$。
2. 一个类别有$M$个行为阶段{$a_j$}${}_{j=1}^M$，同时背景表示为$a_0$。
3. $x_i=g(s_i,W):$片段$s_1$从主干网络中获得特征，$W$包含主干网络的参数
4. $v_{c,i}^j$是$s_i$中$c$类的第$j$阶段$a_j$的置信度分数：
   
   使用$v_{c,j}^j$构建置信度分数表（如下图所示）：
   
5. 定义$(i,p_i)$：$i$是片段索引，$p_i$是阶段索引，$p_i\in [0,M]$。
6. 定义$[(1,p_1),...,(N,p_N)]$：作为置信度分数表的路径。
7. 定义$P_c=[p_1,...,p_N]$ :为类别c的路径。

时间结构挖掘

1. 路径约束：
   给定在阶段$p_i$中的片段$s_i$，下一个片段$s_i+1$的阶段$p_i+1$只有两个选择:1)与$s_i$保持相同的阶段，2)演化到下一个阶段：
   
   这种周期性的演化机制有效地处理包含多个动作实例的视频。
2. 计算路径分数$F_c(P_C)$：
   
   $I(p_i\ne 0)$是一个用于忽略背景阶段的指示器。由于背景分数不用于计算路径分数，所以设置$v_{c,i}^0=0$，即：
   
3. 通过路径约束，挖掘最大路径分数：
   
   图3中用绿方框显示了一个最大循环路径的例子。
   在训练阶段，最大循环路径$F_c(P_c^{\ast })$的分数代表了行为c在视频中的存在，它构造了分类损失。
   在测试阶段，通过背景阶段分离的连续段进行分组来检测某个类的动作实例。如图3所示，它检测两个由背景分隔的行为实例。

阶段过滤器学习

问题：阶段滤波器的学习依赖于发现的最大路径，同时最大路径的发现依赖于预先训练的阶段滤波器。它们之间的相互依赖导致训练过程不能按顺序进行。
解决：采用一个交替更新的策略，分为两步。
1）基于当前滤波器{$f(\cdot ,w_c^j,b_c^j)$}${}_{j=1}^M$的输出，使用最大化路径发现得到$P_c^{\ast }$
2）使用$F_c(P_c^{\ast })$和视频的真实标签$y_c\in${0, 1}计算分类损失函数：

注：这里使用的是$tanh()$，而不是$sigmoid()$，因为对于背景类$\widehat{P_c}=[0,...,0]$，所以$F_c(\widehat{P_c})=0$，所以$F_c(P_c^{\ast })\in [0,+\infty )$，所以$sigmoid(F_c(P_c^{\ast }))\in [1/2,1)$，是的损失函数不够灵活，故使用$tanh()$。
迭代：

尽管该算法支持骨干网权值的更新，但由于计算资源的限制，在实现中对骨干网进行了修正，并将其作为特征提取模块。
流程：

1. 每各类的每个阶段都有一个权重和偏置，对其进行初始化。
2. 在每次迭代中，对每个视频提取特征，特征大小C×M×T。（类别，阶段，帧）
3. 对每个视频特征对于每个类都有一个置信度分数表，基于算法2，找到视频对于每个类的$P_{k,c}^{\ast }$，并计算损失函数。
4. 更新权重和偏置。
   注：对于同一实例片段，应该是对应分数最大的那个类别。

最大路径发现

一种动态规划算法，节约发现路径时间，复杂度降为$O(MN)$

1. 重写约束：
   
2. 定义$S_{c,i}^j$：表示在类别c中：所有从片段$S_1$开始，在片段$S_i$（在阶段$j$）的所有路径的最大分数。
   
   以图3为例，求得$S_c$列表如下：根据约束求得$p_i$如标红数字。
   
   具体算法流程如下：
   
3. 前面提到的最大路径发现过程只选择得分最高的路径。在这种情况下，梯度只在沿着最大路径的单元中反向传播，而忽略不是最大路径中的单元。为在分数表中挖掘更多信息，稳定训练。提出一种软最大路径发现算法：
   
   其中：
   
   在这里$\alpha =10$
   
   注：软最大路径发现仅在训练中执行。在测试中，仍然执行最大路径发现来检测动作实例。
   具体算法流程如下：
   

实验

数据集和评估方法

数据集：THUMOS14 ， ActivityNet 1.2和ActivityNet 1.3
评估标准：mAP

主干网络和双流融合

采用两种主干网络来提取视频片段的特征。

1. 在 Kinetics数据集上预训练的I3D[5]，一个比较基线STPN也采用了该数据集。
   2.由UntrimmedNet预训练的TSN，它也被一个比较基线Auto-Loc使用。
2. 虽然算法支持端到端训练，但是由于计算资源有限，只使用主干作为特征提取模块。

利用两个独立的网络，分别以RGB和光流作为输入。将两流网络的检测结果进一步融合，得到最终的检测结果。具体来说，给定一个视频V和一个特定的类c，首先分别基于单个RGB或光流网络获得候选的时间间隔$I_{rgb}=$ {$I_{rgb}^i$}${}_{i=1}^{K_{rgb}}$和$I_{of}$ = {$I_{of}^i$}${}_{i=1}^{K_{o}f}$。每个区间$I\in I_{rgb}\cup I_{of}$的最终分数是由RGB网络和光流网络的分数结合得到的:

在THUMOS14数据集中，λ= 2组。在ActivityNet 1.2和1.3 ActivityNet数据集中，λ= 0.5。由于$I_{rgb}\cup I_{of}$中存在重叠区间，根据其得分对区间进行非最大抑制。

实现细节

1. 对于RGB流，将帧的最小维度缩放到256，并执行大小为224的中心裁剪。
2. 对于光流场，采用了TV-L1光流算法。将得到的光流像素值截断到[20,20]范围，然后在-1和1之间重新标度。
3. 从每个视频中以均匀的间隔采样400个片段。网络使用传统的SGD优化器进行训练。学习率初始化为0.005，每10个周期衰减为1个10。整个训练过程在30个epoch处停止，相对于初始化权值，性能相当稳定。
4. 在测试时，对于每个类，根据它们的结构分数对检测到的候选位置进行排序。

消融实验和比较结果