Action Unit Memory Network for Weakly Supervised Temporal Action Localization 笔记

1.介绍

这篇文章是提出了一个动作单元记忆网络（AUMN），它的创新点我觉得是非常强的，作者也自己夸自己，说这篇文章是第一次用记忆网络来建模动作单元，网络内部的结构也是围绕动作单元来设计的，内容比较多，这里面肯定会有用得上的思想和设计。

每篇文章都会说一遍自己的动机，这篇文章的动机如下：

• 实现定位完整性
• 减轻背景干扰

提出的AUMN为了解决这两个问题，在内部设计了如下：

1. 两个注意模块：自注意模块和交叉注意模块
2. 三种有效的机制：多样性，同质性，稀疏性 (diversity, homogeneity and sparsity)

多样性是指动作单元之间是不同的，所以 memory bank 中的每个模板都应该是唯一的。
同质性是指虽然多样性机制可以鼓励 memory bank 中的每个模板都是唯一的，但它并不能保证没有一个模板是无用的，这意味着一个模板与所有视频片段的相似性可能很低。
稀疏性是指在未修剪的视频中，动作片段只占据整个视频的一小部分，而大部分视频片段都是背景片段。

2.方法

2.1 特征提取

这篇文章将RGB和Flow分开处理，都是通过预训练过的I3D网络来提取特征，得到X^RGB _i ∈ R^Li×D , i指的是不同的视频，Li是每个视频snippets的数量。再添加一个任务转换层（由I3D提取的特征是用于动作识别的，现在要把他转到动作定位上来），得到X^e ∈ R^Li×F 。

2.2 动作单元记忆网络

构建Memory Bank

memory bank中存放的是各种动作单元，在此处称之为模板，即一个模板代表一个动作单元，所有模板M∈ R^K×F 。文中提出两个编码器Enc_K和Enc_V ，分别是用来生成键和值的，Enc_K 是为了降低模板的大小，提高读取效率，是由一个FC组成。Enc_V 是将每个模板编码为模板特定的分类器，由两层带有bottleneck的FC组成。键存储模板的外观和运动相关信息，值存储特定于模板的分类器，可用于片段分类。

K^M ∈ R^K×F/m，V^M ∈ R^K×CF ,m就是为了提高读取效率的超参数

Memory Bank用于分类

为了能够得到分类器，必须先从键值对中取出值，由Enc_Q将X^e 变换得到Q_i ∈ R^Li×F/m, 接着经过两个模块：自注意模块和交叉注意模块

自注意模块：

I是一个单位矩阵，这样做的目的是避免X^e 的部分内容丢失

交叉注意模块：

S_i∈ R^Li×K是查询Q_i 和模板键的相似性分数

V_i^O ∈ R^Li×CF ,通过将CF拆开得到W^cls∈Li×C×F

相似矩阵S_i的第二维表示片段和模板之间的相似性，对第二维作MaxPool，得到前景注意权重a_i∈R^Li .


最后可以得到分类损失，过于简单，此处不再介绍

Memory Bank的更新

动作单元记忆库的更新是依赖于文章提出的三种机制：多样性，同质性，稀疏性。这三种机制说白了就是用三个损失来保证的，下面来对这三种损失依次介绍

L_d是多样性损失，设计目的是为了保证模板都是不同的，I是一个单位矩阵，F指矩阵的弗罗比尼乌斯范数。

L_h是同质性损失，目的是为了保证每个模板都是有用的，有用的意思是说，能够与视频中的片段关联起来。p^O_i ∈ R^K ，然后使用2范数，使得每个模板的关联度都能够提升。

L_s 是稀疏性损失，直觉是动作在视频中出现的范围是较小的，因此需要抑制背景的激活，其实就是为了让a_i 产生两级分化的效果。

3.消融实验

各种损失的消融

有无注意力模块

模板数量