论文笔记--Optical Mouse: 3D Mouse Pose From Single-View Video_从单视角视频看x小鼠3D姿态

  将这些最初为推断人类三维姿态而开发的技术改编为小鼠。我们预测小鼠的二维关键点，然后根据从数据中学到的先验因素对三维姿势进行优化。
数据获取
  连续、多视角和步态。
  连续视频数据是来自32个笼子的14天的数据，每个笼子都配备了一个摄像头（Vium）。在黑暗周期中，使用红外线照明。8只动物是一岁的、以c57b6为背景的基因敲除小鼠；8只是一岁的杂合子对照组；8只是一岁的c57b6小鼠；以及8只两个月大的c57b6小鼠。基因敲除小鼠有一个导致运动障碍的缺失，
  多视角视频数据是在一个定制的捕获设备（如下所述）中的一只c57b6小鼠的35个连续多视角帧

  步态视频数据是一只c57b6小鼠在跑步机上行走的视频，下面安装有摄像头和相应的商业分析工具（DigiGait），上面安装有一个额外的摄像头（GoPro），我们用于分析。每段视频以每秒24至30帧的速度记录。

小鼠的姿势预测
  特征提取管道（如图1所示）包括三个阶段：边界框检测，二维姿势预测，和三维姿势的优化。

图1. 我们的管道在视频的帧上运行（左上）。对于每一帧，我们运行一个经过训练的二维物体检测器来检测小鼠（右上角，方框表示检测）。我们应用一个二维姿势模型（堆叠沙漏网络）来检测检测到的位置上的小鼠关键点（右下角，用任意颜色表示关节位置的彩色热图）。最后，我们对鼠标的三维姿势进行优化（左下角，蓝色的点是前一阶段关键点热图的峰值，红色的点是来自优化姿势的投影三维关键点，灰色的三维网格覆盖在图像上）。

  我们用COCO[16]上使用的物体关键点相似度（OKS）得分来评估我们的姿势模型。
，其中di是预测和地面真实之间的欧氏距离，s是物体尺度为边界框面积的平方根，每个关键点的衰减，ki，被设定为所有关键点的人类中值0.08。准确度被计算为预测的关键点的百分比大于表1中的阈值OKS得分。

图2.左边。标记的二维关键点。 中间。小鼠的标记图像，关节图例在左边。 右边。高分辨率的CT扫描图，浅色为骨骼分割，深色为皮肤分割，在中性姿势下有相应的关键点位置。

3D姿态预测
  我们将文献[4]中的人类三维姿势优化策略适用于小鼠。我们迭代更新由18个关节组成的运动学链上的三维关节角度，这些关节对应于二维关键点（不包括耳朵），以最小化输入的二维关键点位置和预测的三维关节位置之间的距离。
  通过使用形状和/或姿态先验[3]来提高三维姿态优化的稳定性和收敛性。具体来说，我们使用关节角度约束（关节角度必须在±50度以内）和Guassian Mixture Model姿势先验的组合，该先验由3D姿势的多视图重建（见下文）和手置模型构成。手持模型的关节角度是在一个三维建模软件中设置的，以匹配一组涵盖典型姿势的图像中的明显鼠标姿势。从这些三维姿势中，我们对准和缩放这些姿势，使从颈部底部到脊柱中部的矢量被定义为X轴和单位长度，然后我们用5个分量的高斯混合模型来适应数据。我们对关节角度进行优化，以共同实现再现误差最小化和混合模型下的似然最大化。

2.3. 多视角三维姿态重建
为了产生用于验证和构建姿态先验的地面真实三维姿态数据，我们建立了一个定制的多视角三维捕捉装置。一个自上而下的RGB+D相机（Kinect）和两个具有同步时间的侧面RGB相机被校准为鼠标笼的重叠视场。我们在每个视场的同步帧中标记二维关节位置，并对每个关节位置的三维位置进行三角测量，以使重投影误差最小。多视角重建被用来评估单视角重建质量，然后添加到姿势先验中。
结论
我们的方法可以从单视图视频中推断出小鼠的三维姿势。这为连续的、非侵入性的监测提供了引人注目的机会。我们证明，三维关节角度比其他特征更容易预测小鼠的健康相关属性。我们的系统甚至可以取代定制的硬件解决方案来确定步态参数，如步长。未来的工作包括提高三维姿势的准确性，并将这种方法扩展到动物的社会互动。