【论文阅读】车道线特征操作

1. SCNN

这里的SCNN是指Spatial CNN，Spatial SCNN 本身是一个插件，或者从网络结构上来说可以算是一种neck，其本身一般接在主干网络的后面，主要是对主干网络处理出来的feature map进行一个处理。
下图即为处理的方式，从图中可以清晰的看到，SCNN从四个方向上对feature map进行了处理。表面上看上去是对特征进行了投影，实际上是将某个方向上的特征通过一维卷积的方式进行处理，和下一层特征进行加和。其实，SCNN网络本质上是在feature map层级的一种RNN处理，将H或者W方向上的信息通过卷积和激活函数作为历史信息传递给下一层，使得特征层在各个方向上都具有记忆性。

从特征处理代码中我们也可以看到这种信息的处理，SCNN本身对车道线分割处理的结果优化提升是比较明显的，究其原理，还是特征本身实现了对空间的记忆性，换句话说，特征通过这种方式增强了全局信息的感知，同时这种全局的感知又带有记忆特性，越近的特征影响越显著。

但这种处理带了的问题也是很明显的，把SCNN当成一个算子的话，该算子本身的并行度是不高的，连续4个for循环去遍历feature map, 虽然feature map不大，但是推理起来仍然要慢很多。

2. RESA

官方资料

https://arxiv.org/abs/2008.13719
https://github.com/ZJULearning/resa

RESA: Recurrent Feature-Shift Aggregator 没错，当你看到这个名字的时候，你一定怀疑为什么他不叫RFSA，我也不懂了，为什么能从Recurrent里面提取RE出来，那RNN是不是应该也叫RENN。
Anyway, 看完这个名字其实可以基本猜出来，这个处理和SCNN的想法差不多。但是相比SCNN那张图，你会明显看到有stride变化，up方向的stride为1，down方向的stride为2。然后你会发现有一条虚线，像是负反馈，这是告诉你他实际上不只跑了一次，stride为2的那个方向甚至每一次处理的初始位置还有区别。综上所述，RESA实际上是SCNN的进化版，他对特征的提取更加的复杂

当你去读RESA的论文的时候，你就回发现它其实和SCNN讲了两件事情，SCNN告诉我们把一层特征经过卷积+激活，然后加给下一层，同过RNN方式实现空间的记忆，思路很好，但是处理很慢。
RESA在做什么，他其实就是看到了SCNN处理的速度很慢，所以在优化特征计算，在RESA眼里特征并不一定要在空间上实现RNN的操作，空间和时间是不一样的，完全可以把无序的特征加进来，这样就可以整个方向一起操作一次计算即可，例如原来的顺序是12345，那54321加进来是不是也是一种特征的叠加，下一次31524加进来，重复几次，对于每一层来说是不是也叠加了更多的信息，虽然不是连续的信息，但是对于每一层来说都获得了很多层的信息，而且这样处理起来单个方向处理复杂度大大降低。