该研究提出了一种名为C2F-TCN的模型，通过时间编码器-解码器结构解决过度分割问题。其特点在于采用从粗到细的解码器集成，结合多分辨率特征增强策略，以提高视频动作分割的准确性。研究还引入了视频级的‘动作损失’，以减少过度分割，并利用概率集合对抗网络的过度自信问题。实验表明，C2F-TCN在多个数据集上取得了最佳效果。
Abstract
目标：解决过度分割问题。
方法：时间编码器-解码器来解决序列碎片问题。
特点：解码器遵循具有多个时间分辨率的隐式集合，并且从粗到细。
其他贡献：
- 采用多分辨率增强策略以强化训练；
- 设计了支持架构的损失函数。
成果：在三个数据集上取得了最好的效果。
Introduction
标准模型：MS-TCN
两种改进思路：
- 额外的训练；
- 后处理平滑。
本文的思路：
编码器：将时间分辨率降低到某个瓶颈特征；
解码器：将序列恢复到原始时间分辨率之前。
核心思想：先收缩后拉伸。
这样的想法，来源于图像分割、流量估计和地标检测。
Encoder-Decoder的设计在过去性能不佳的原因在于：
瓶颈设计与解码器设计过于简单（子动作长度显著变化，解码器必须仔细设计以进行动作分割）。
为了处理不同子长度，提出了一种结构：解码器的输出层进行“从粗到精”的集成。
介绍两个新的特性：
Video-level loss：
目前，tcn的训练以帧级丢失为代价的。
这并不能充分惩罚序列级未分类。
为了增加帧级的损失，引入了一种新的视频级“动作损失”来惩罚与复杂活动标签无关的子动作。
这种损失在减轻过度分
最低0.47元/天 解锁文章
扫一扫
1760
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
