sketch到体素的一篇,特点是通过单张线框图生成体素模型之后,用户可以继续输入其他视角的线框图来对模型进行进一步精细化。
架构
在论文中,他们训练了两个神经网络,一个single-view CNN用于初次预测,一个updater CNN用于更新模型。两个神经网络的架构基本是一样,都使用了unet架构,唯一的差别是updater CNN在encode的第二层contact了之前预测的体素数据(经过transform,和本次输入的sketch同一视角)
这样通过updater可以输入任意多的视角的sketch信息,但是由于每次只能更新一个视角,使得每次经过update之后,可能又和其他视角不一致了。因此文中又提出了一种迭代方法,通过把不同 视角的sketch依次输入,多次更新直到预测结果收敛
在试验中,作者还发现即使每次更新所使用的都是同一个视角的sketch,输出模型的效果也会明显变好,作者猜测这可能是因为这样多次update的架构模仿了更深的神经网络。