Reading Papers – IM2CAD

论文主要讲述从单目照片中重构三维家居室内场景：

IM2CAD系统总体思路：

IM2CAD方法：
（1）室内几何估计 (Room Geometry Estimation)
（2）物体检测 (Object Detection)
（3）模型对齐 (CAD Model Alignment)
（4）模型布置 (Object Placement)
（5）场景优化 (Scene Optimization)

Room Geometry Estimation

1.Use end-to-end deep Fully Convolutional Network(FCN)
2.VGG
3.LSUN dataset

Samples:

Object Detection

1.Faster-RCNN
2.VGG16
3.SUN2012 detection dataset,
4.ImageNet detection challenge dataset
5.Window category of Rent3D dataset

Samples:

CAD Model Alignment

1.FRCNN
2.Consider all 3D models in the ShapeNet repository, 每个模型32个角度：15°和30°各16个
3.寻找最合适的模型以及其3自由度方向 
Results:

Object Placement

1.布局不需要精确但要合理
2.灭点
3.Corresponding to each eight corners of the object cube  
4.scale x y z
5.window special case

Scene Optimization

1.COBYLA

Results:

Coloring CAD

1.取RGB色彩通道的中值
Results:

Conclusion

个人看到的第一份关于三维场景重构的论文，年份也比较新，方法采用的也是现在流行的深度学习网络，效果也还可以，几个点：
1.几何估算前人已经做了好多，作者也用了深度学习，能不能用别的深度学习方法使得估算更加精确，如果房间不是正方体，中间有突出或者凹进去的地方（这一块目前可能还是比较难的难点）。
2.物体检测精确度，其他CNN网络或者其他类型网络能否再提高。
3.同样物体位置方面，物体放置合理性方面例如碰撞问题、方向问题能否在优化。
4.上色能否再精确，甚至可以找到与图中接近的纹理然后贴回模型上，或者增加模型库，直接找到带有类似纹理模型。

Questions

1.主要是想知道他这个场景是建立在哪的，webGL？是如何通过前面这些让webGL自动生成三维场景的？
这里不细谈里面碰到的网络模型或者算法，暂时只想知道其整理思路。

Experiments