论文阅读：Weakly-supervised Action Localization with Background Modeling

摘要

1. 使用一个attention model以提取前景和背景以显示建模外观。
2. 结合bottom-up，class-agnostic attention modules与top-down class-specific activation map。并应用自监督。

Localization from Weak Supervision Assume

1. 视频标签表示： y ∈ { 0 , . . . , C } y∈\{ 0,...,C\} y∈{0,...,C}，$C$是可能的行为类别数，0是背景类。
2. $X_t\in R^d$表示基于RGB和光流的特征。

Weak Supervision

1. 视频级别的foreground feature $X_{fg}$(加权求和):
   
   ${\lambda }_t\in [0,1]$，且${\lambda }_t=\Omega (x_t)$，函数由两个$fc$组成，第一个带有$ReLU$，第二个带有$sigmoid$。${\lambda }_t\in R^d$，因此得到的$X_{fg}\in R^d$
   视频级别的预测：
   
   其中$w_c\in R^d$。
   计算损失：
   
2. Background-Aware Loss
   背景特征及背景预测：
   
   计算损失（鼓励在背景索引上的预测接近1，即鼓励参数$w$学会区分背景）：
   
3. Self-guided Attention Loss
   原因：${\lambda }_t$是一个自下而上的，与类无关的attention，它可能会响应一些一般线索，如大型的肢体动作，而不会具体到一些特定的行为。而TCAM可以提取自顶向下的attentional线索。因此，提出类特定的TCAM attention map作为自监督重新微调${\lambda }_t$：
   
   
   
4. Foreground-background Clustering Loss
   考虑了一个完全由视频特征和关注度λ定义的自下而上的损失，鼓励分类器对前景或背景特征响应强烈。
   
   
5. 总损失
   

定位