论文研读：From Point to Space: 3D Moving Human Pose Estimation Using Commodity WiFi

论文概述

本文介绍了一种三维人体姿态估计系统Wi-Mose，将幅度和相位融合到信道状态信息（CSI）图像中，重建在整个空间的人的3D姿势，并且该图像可以提供姿势和位置信息。并设计了神经网络来从CSI图像中提取仅与姿态相关的特征，然后将这些特征转换为关键点坐标。

系统设计

将分别包含姿态和位置信息的处理后的振幅和相位转换为CSI张量，称为CSI图像。 然后，将CSI图像输入到网络中，设计了一个深度特征提取网络，从幅度信息中提取与姿态相关的特征，并通过利用相位中的信息来削弱位置变化的影响。使用相位信道中包含的位置信息为姿态估计添加约束。 设计了一个姿态回归网络，将特征转换为关键点坐标。

系统组成

该系统由三部分组成：数据采集、数据处理和姿态估计

数据采集部分包含两个接收器、一个发射器和一个单眼相机，用于采集同步CSI和视频帧。

数据处理部分将原始CSI数据转换为CSI图像，并将视频帧转换为用于监督学习的人类关键点坐标。

姿态估计部分从CSI图像中提取特征，并将特征转换为用于重建3D人体姿态的关键点坐标。

网络设计

设计了一个神经网络，将CSI数据转换为三维人体关键点坐标，包括特征提取网络和关键点回归网络。 因为输入CSI图像数据量大并引入相位信息，所以特征提取网络应该能够提取足够深的特征，本文的特征提取网络中，使用残差网络，该残差网络包含13个残差块，在关键点回归网络中，我们利用两个全连接层来整合特征信息，并最终将这些特征转换为关键点坐标。

模型训练

数据集为（C1，C2，K），其中（C1，C1）表示来自两对收发器的CSI图像，K表示视频帧对应的关键点坐标。 在训练阶段，将（C1，C2）输入到网络中，并获得预测的三维人体关键点坐标P。然后我们使用K作为注释，并将P与之进行比较，以优化整个网络。 位置损失LP定义为 N是我们使用的模型中的关节数，T表示数据样本数。使用Adam优化器来优化网络中的损失函数。

该网络是用TensorFlow实现的。对结果进行了6个epoch的训练，学习率为0.0001，批次大小为4。引入了学习率衰减方法，每轮学习率乘以0.9。

实验操作

收集五个人的数据，对于被选为训练对象的四个人的数据，75%用作训练集来训练网络，其余25%用作测试集来测试模型。最后一个人的数据用于测试我们模型的泛化能力。 P-MPJPE（Procrustes-Mean Per Joint Position Error）是一种用于评估人体姿态估计模型性能的指标。它通常用于评估模型在关节位置上的准确性。

计算步骤如下： 关键点提取：模型需要输出关于人体姿态的关键点或关节位置 对齐： 使用一个参考模型，对模型输出的姿势进行Procrustes对齐。Procrustes分析是一种将两组数据进行匹配的方法，通过缩放、旋转和平移来最小化它们之间的差异。 计算关节位置误差： 对齐后，计算每个关节位置上的误差。 计算平均关节误差： 将所有关节位置上的误差取平均，得到P-MPJPE指标。

本文系统的整体P-MPJPE为29.7mm，而WiPose的P-MPJPE.为37.6mm。

为了验证Wi-Mose在遮挡环境中的性能，在受试者和接收器之间添加了一个木板。从不同的角度测试，结果表明，Wi-Mose可以在遮挡场景下高精度地捕捉三维运动人体姿态。

文章总结

本文构建了包含姿态和位置信息的CSI图像，以便神经网络能够提取与姿态相关但与位置无关的特征，设计了一个神经网络Wi-Mose来从CSI图像中提取特征，并将其转换为关键点坐标。实验结果表明，Wi-Mose在无遮挡和有遮挡场景中分别实现了29.7mm和37.8mm的P-MPJPE，与WiPose相比，准确率分别提高了21%和10%。

具体网络模型的实现代码可以看我下面这篇文章：

http://t.csdnimg.cn/G6qcG