时序动作分割与检测
时序动作的分割与检测是视频计算机视觉技术的一大常规任务,对自动驾驶和机器人等应用至关重要,下面 3 篇论文是腾讯 AI Lab 在这一方向的探索成果。
1. 动作识别中的时序帧间差异表征学习
Temporal Distinct Representation Learning for Action Recognition
本文由腾讯 AI Lab、腾讯优图实验室、新加坡南洋理工大学、美国纽约州立大学布法罗分校合作完成,提出了一种用于动作识别的时序帧间差异表征学习方法。
二维卷积神经网络(2D CNN)已成功运用到了图像识别中,研究人员开始尝试使用2D CNN提取视频数据的表征。然而在使用2D CNN对视频数据进行特征提取的过程,视频的不同帧需要共享2D CNN的卷积核,这将导致不同帧间重复冗余信息的提取,特别是不同帧共有的场景信息,因此忽略了帧间变化信息的提取。
本文针对此问题提出了两种方法,1)设计了一种序列式的通道筛选机制,即渐进式增强模块(Progressive Enhancement Module, PEM),对具有判别力的通道进行激励,并避免重复信息的提取;2)设计了时序多样性损失函数(Temporal Diversity Loss, TD Loss),对网络的卷积核进行矫正,从而使网络关注帧间变化信息而不是帧间相似的场景信息。常规数据库上的实验验证了本文方法的有效性。