Multimodal Gesture Recognition Using 3-D Convolution and Convolutional LSTM

前言

因为最近再看C3D+LSTM手势识别方面的文章，故记录一下，一方面来加深理解记忆，另一方面以备后面回顾复习

团队介绍

作者来自西安电子科技大学软件学院

Motivation

１：利用三维卷积网络学习较短的时空特征，然后利用卷积LSTM构建长时的时空特征。这个套路很熟悉，在上一篇笔记《Temporal Activity Detection in Untrimmed Videos with Recurrent Neural Networks
》中是利用C3D+LSTM框架，区别在于这篇文章是自己简单设计了三维卷积网络和卷积LSTM（上一篇是LSTM）。２：在多模态数据（RGB 和depth）上相互pre-train和finetune能提升识别率（今年Chalearn isolated gesture recognition challenge中一个参赛队伍就利用了这个trick ）。

Framework

各个模块介绍：

3DCNN