前言
因为最近再看C3D+LSTM手势识别方面的文章,故记录一下,一方面来加深理解记忆,另一方面以备后面回顾复习
团队介绍
作者来自西安电子科技大学软件学院
Motivation
1:利用三维卷积网络学习较短的时空特征,然后利用卷积LSTM构建长时的时空特征。这个套路很熟悉,在上一篇笔记《Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks
》中是利用C3D+LSTM框架,区别在于这篇文章是自己简单设计了三维卷积网络和卷积LSTM(上一篇是LSTM)。2:在多模态数据(RGB 和depth)上相互pre-train和finetune能提升识别率(今年Chalearn isolated gesture recognition challenge中一个参赛队伍就利用了这个trick )。
Framework
各个模块介绍: