- 问题引入
- 从单张图片重建人体的3d meshes，即human mesh recovery, HMR任务，并且重建的结果作为tracking模型的输入来进行跟踪，在人体重建和monocular video人体追踪任务上都实现了sota；
- 本文主要是将transformer引入hmr任务中，并构建了一个3d人体重建+跟踪的系统；
- methods
- SMPL：参数化人体模型，在给定pose θ ∈ R 24 × 3 × 3 \theta\in\mathbb{R}^{24\times 3\times3} θ∈R24×3×3和shape β ∈ R 10 \beta\in\mathbb{R}^{10} β∈R10的情况下，输出人体mesh M ∈ R 3 × N M\in\mathbb{R}^{3\times N} M∈R3×N，其中 N = 6890 N=6890 N=6890表示顶点个数，人体关节 X ∈ R 3 × k X\in\mathbb{R}^{3\times k} X∈R3×k是顶点的线性组合，通过公式 X = M W X = MW X=MW来计算，其中 W ∈ R N × k W\in\mathbb{R}^{N\times k} W∈RN×k是固定的权重，pose包含pose相关参数 θ b ∈ R 23 × 3 × 3 \theta_b\in\mathbb{R}^{23\times 3\times3} θb∈R23×3×3和orientation θ g ∈ R 3 × 3 \theta_g\in\mathbb{R}^{3\times3} θg∈R3×3；
- camera：相机焦距和内参固定，每一个相机对应外参 π = ( R , t ) \pi = (R,t) π=(R,t)，其中 R ∈ R 3 × 3 , t ∈ R 3 R\in\mathbb{R}^{3\times 3},t\in\mathbb{R}^3 R∈R3×3,t∈R3，给定这些的前提之下，SMPL模型的每个点 X X X可以被投影到图像 x x x；
- HMR模型：输入单张图片 I I I，输出pose，shape参数和camera translation θ , β , π \theta,\beta,\pi θ,β,π
- 实验
1178
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
