【论文笔记】NTU RGB+D

NTU RGB+D

论文链接

NTU RGB + D优势：

1. 更多的动作类
2. 每个动作类更多的样本
3. 类内变换（姿势，环境条件，交互对象，演员年龄，…）
4. 更多的摄影机视角
5. 更多的摄影机到对象距离
6. 使用的Kinect v.2，可提供更准确的深度图和3D关节，尤其与Kinect的先前版本相比更多摄影机设置下

动作类：我们总共有60个动作类，分为三大类：每日40个动作（饮酒，进食，阅读等），9个与健康有关的动作（打喷嚏，蹒跚，跌倒等），以及11种相互配合的动作（打孔，踢脚，拥抱等）。

视图：我们同时使用了三个摄像机，以从同一动作中捕获三个不同的水平视图。对于每种设置，三个摄像头都位于相同的高度，但处于三个不同的水平角度：-45°，0°，+ 45°。每个对象被要求执行两次动作，一次是朝左相机，一次是朝右相机。这样，我们捕获了两个正视图，一个为左侧视图，一个为右侧视图，一个为左侧45度视图，另一个为右侧45度视图。三个摄像机分配了一致的摄像机编号。摄像机1始终观察45度视角，而摄像机2和3始终观察正视图和侧视图。为了进一步增加摄像机的视角，在每种设置下，我们都更改了摄像机与被摄对象之间的高度和距离。

基准评估：

1. X-Sub：在跨学科评估中，我们将40个科目分为训练和测试组。每组包括20个科目。对于此评估，训练和测试集分别具有40,320和16,560个样本。此评估中的训练对象ID为：1、2、4、5、8、9、13、14、15、16、17、18、19、25、27、28、31、34、35、38；其余科目保留供测试。
2. X-View：为了进行交叉视图评估，我们选择相机1的所有样本进行测试，并选择相机2和3的样本进行训练。换句话说，训练集包括动作的正视图和两个侧视图，而测试集包括动作表演的左右45度视图。对于此评估，训练和测试集分别具有37,920和18,960个样本。

传统RNN和LSTM：

RNN：

${\mathbf{h}}_t=\sigma \left(\mathbf{W}\left(\genfrac{}{}{0ex}{}{{\mathbf{x}}_{\mathbf{t}}}{{\mathbf{h}}_{\mathbf{t}-1}}\right)\right)，{\mathbf{h}}_t=\sigma (\mathbf{V}{\mathbf{h}}_{\mathbf{t}})$

( i f o g ) = ( S i g m S i g m S i g m T a n h ) ( W ( x t h t − 1 ) ) \begin{pmatrix}i\\f\\o\\g\end{pmatrix}=\begin{pmatrix}Sigm\\Sigm\\Sigm\\Tanh\end{pmatrix}\left(\bf W \binom{ {\bf x}_t}{h_{t-1} } \right ) ⎝⎜⎜⎛​