3D视觉学习随记（1）——6Dpose概念与表示

近日在入门3D视觉方向，先从一些经典的文章和任务开始学习，学习的过程中发现这方面中文资料较少，许多概念需要反复理解才能消化，对小白来说很不友好。将学习过程中的一些理解记录在此方便回顾，也请大佬们指正。

本篇：6D-Pose估计任务

一、已知和代求

首先，为了使介绍的思路更加清晰，我们需要先明白该场景中假设已知的东西有哪些，需要求的对象是什么。在此之前，需要明确一个点，即不管何种描述方式，何种坐标系，针对的都是同一个物体，我们要做的是：求出该物体（模型）在不同坐标系之间的坐标转换关系。为了方便介绍，此处的3D表示方法以点云为例，其他表示都可以通过一定方式转换成点云。

（1）已知：

物体的3D模型：可以是点云储存，也可以是mesh，SDF的方式储存。总之，物体的3D模型可以客观地描述一个物体的形状，大小，纹理等。以点云为例，就是一堆3维向量，每个向量表示空间中的一个点的坐标，这些点构成一个物体的3D模型。

物体坐标系：上述物体坐标所依赖的坐标系称为物体坐标系，显然该坐标系与观测者的位置无关，仅与物体相绑定。

相机坐标系：作为人，获取到物体信息的主要途径是看，用计算机视觉方法处理问题也和人处理接收到的图像信息过程类似。通常是通过相机（传感器）获得信息，将信息交给神经网络，模拟人脑进行计算并做出一定的判断。这里将与相机绑定的坐标系称为相机坐标系，该坐标系通常以相机为原点，一条坐标轴垂直于相机面，剩下两条在相机面内相互垂直。与相机绑定的意思是，在该坐标系下，相机的坐标是固定的，已知其他物体在该坐标系下的坐标，就能够知道其他物体与相机的相对位置。

（2）待求：

物体在相机坐标系下的坐标：作为人，我们描述看到一个物体的信息并作出决断，是需要知道该物体离自己的距离和具体的形态的。对相机来说也是如此，只有得到相对于相机（传感器）的物体位置与姿态，才能针对其进行后续的操作。

6Dpose：说了这么多，总算讲到主角了。对于相机而言，要得到物体每个点的相对坐标，直接通过网络预测的方法显然很困难，并且浪费了物体的3D模型这一先验知识。因此人们通常采用间接的方式来获取物体在相机坐标系下的坐标，即预测3D模型物体点的物体坐标系坐标与相机坐标系下坐标的对应关系，也即6Dpose。

二、6D pose

现在我们已经有在物体坐标系下的一堆模型点坐标，要得到其在相机坐标系下的坐标。显然，这些坐标应该是一一对应的，6Dpose就是两类坐标之间的一种映射关系。到这里其实就很容易理解了，在3维世界里，刚体的变换无非两种方式：平移和旋转，我们只需要找到能够描述这种平移和旋转的方法，就能得到相机坐标系下的所有点。

（当然这里的平移和旋转有两种理解，可以是手动将物体坐标系与相机坐标系对齐，对物体进行平移和旋转使其移动到当前位置；也可以是假设将物体坐标系直接放到相机观测到的物体上，对该物体坐标系进行平移和旋转，使其完全跟相机坐标系重合。随便哪种方式理解都行）

（1）平移位姿

先从最简单的平移位姿开始。顾名思义，平移位姿就是把一个点在三个坐标轴上分别平移特定距离的结果，用T表示，T通常就是一个3维向量。

（2）旋转位姿

旋转位姿稍微复杂一点，主要是因为其表示多样。个人认为最直观的表示是轴角表示，即给定一个旋转轴（3维），给定一个旋转角（1维），就能表示一个旋转。此外欧拉角也比较直观，但是会出现万向锁问题。其他常用表示还有四元数，R6d等。不管何种表示，通常最后都通过旋转矩阵（3x3维）进行计算。这些表示的相互转换可以参考这篇文章：三维旋转：欧拉角、四元数、旋转矩阵、轴角之间的转换 - 知乎 (zhihu.com)

三、实际的6Dpose工作

涉及到神经网络的训练，肯定就有小伙伴好奇，实际运用的过程中，6Dpose是如何被估计的。这里面的GT是什么，predict是什么，损失函数又该如何设计？这其中的方法不胜枚举，分类方式也有不少，一种简单容易理解的方式是直接或间接法。直接法就是直接将6Dpose作为回归对象，间接法就是计算出中间变量，再由人工设计的算法得到6Dpose。

以上就是本期随记的全部内容，如果有错误之处还请多多指出，期待与大家一起评论区讨论~  （希望本篇博客对你有所帮助，如果反响较好后续也会多多分享！