Boundary-Aware Cascade Networks forTemporal Action Segmentation

专有名词存疑

action instances：动作片段

temporally regularizing smooth predictions of action instances

semantic consistency inside：内部语义一致性，与时间一致性类似。

border-crossing discrepancy

action boundaries：两段动作之间的过渡阶段。

temporal consistency of predictions inside an action：一段时间内的动作标签是一致的。

Abstract

解决问题：边界模糊、过度分割。

解决方法：
引入两个新组件； 提出了一种新的边界网络。

1. 设计了一种新的cascading paradigm，称之为Stage Cascade，目的是确保我们的模型拥有自适应的感受野以及给予模糊帧更自信的预测；
2. 设计了一种general and principled 平滑操作，称之为local barrier pooling，目的是通过语义边界信息来聚合局部预测。
3. 以上两种方法可以进行端到端的方式进行联合微调。

Introduction

MSTCN的特征：

1. enlarge temporal modeling capacity；
2. achieve extremely large receptive to operate on the full temporal resolution。

表面问题在于：increasing modeling capacity simply；

本质问题在于：

1. overfit problems for simple frame；
2. more computation cost；
3. ambiguous on some frames.
   
   错误一：在长时间的单一动作中执行其他无关动作，导致置信度下降；（ambiguous case 1）
   错误二：动作的视觉相似性导致的动作边界模糊不清。（ambiguous case 2）

方法：用Stage Cascade解决问题二；然而上述方法会导致问题一被加剧，于是采用local barrier pooling来缓解。

Stage Cascade

核心思想：使模型能够根据帧的复杂性、通过different and adaptive stage预测帧。

Local Barrier Pooling

引入：由于S