【论文阅读】SNE-RoadSeg

文章SNE-RoadSeg: Incorporating Surface Normal Information into Semantic Segmentation for Accurate Freespace Detection，2020ECCV

开源代码：https://github.com/hlwang1124/SNE-RoadSeg

使用深度图做road detection，效果在kitti上排第四，是目前能找到良好开源的算法。本篇文章就结合代码一块看一下这篇文章。

SNE

全称surface normal estimator，也就是用于估计法向量。本文引了一大堆参考文献，来阐述如何利用深度图来估计法向量。直观的想，有一张深度图，其实就是有了每个pixel的三维信息，那就可以用一个邻域来估计法向量。本文也大概就是这么做的，具体的公式可以看文章第三章。那么具体实现，可以看代码中的models/sne_model.py。具体实现就是用一个差分的卷积核，来求邻域中像素的深度差，然后根据公式中的计算过程得到法向量。

RoadSeg

这一部分也很好理解，对着下图来看：

红色的方框是我用来标识tensor具有的channel数。

先说Encoder：深度图通过SNE得到法向量图，通过resnet得到一组feature map。RGB Image通过另一个resnet，其中得到每一个scale的feature map之后都要先pixel wise a