SNE-RoadSeg：一种基于表面法向量提取的道路可行驶区域分割方法

0.写在前面

使用深度图做road detection

paper:https://arxiv.org/pdf/2008.11351.pdf

code:https://github.com/hlwang1124/SNE-RoadSeg

1 .SNE

 全称surface normal estimator，是用于估计法向量,利用深度图来估计法向量。直观的想，有一张深度图，其实就是有了每个pixel的三维信息，那就可以用一个邻域来估计法向量。可以看代码中的models/sne_model.py。具体实现就是用一个差分的卷积核，来求邻域中像素的深度差，然后根据公式中的计算过程得到法向量。
2.Roadseg

 

Encoder：深度图通过SNE得到法向量图，通过resnet得到一组feature map。RGB Image通过另一个resnet，其中得到每一个scale的feature map之后都要先pixel wise addition一下相对应的法向量图得到的feature map，然后再送入下一步卷积，这相当于做一个特征融合。

Decoder：大致框架与传统的Decoder是一样的，也是一步一步的upsample和conv，只是采用了DenseNet的形式。