两篇img2struct论文

两篇img2struct论文

【ICCV2017】3D-PRNN: Generating Shape Primitives with Recurrent Neural Networks
【CVPR2018】Im2Struct: Recovering 3D Shape Structure from a Single RGB Image

概述

这两篇论文，都是输入图片，然后输出由多个长方体拼成的三维模型，


两篇论文的区别是，前者的输入是深度图，decode用的是普通的RNN，输出的是线性结果。而后者输入的是真实的RGB图像（考虑背景干扰），decode使用了RVNN，输出的是树状结果。

数据来源

这 两篇论文的模型架构都是端到端的，因此就需要图像匹配的组合体数据。
在3d-PRNN中，论文的第三章节即描述了如何通过点云拟合来得到组合体形状数据

img2struct的组合体是用树状结构表示的，其生成方式也更为复杂一些一些。他们先使用了【1】中的方法，对模型进行预分割，生成可能的层级结构，然后使用了【2】中的方法，生成组合体结构，并模型统一成一致的层级结构。（【2】是SIGGRAPH2017的，这篇img2struct主要就是基于这篇论文的工作做的，）

未完待续

【1】: Symmetry Hierarchy of Man-Made Objects