经典文献阅读之--TwinLiteNet(可行驶区域和车道分割的高效轻量级模型)

0. 简介
对于自动驾驶来说语义分割是自动驾驶中理解周围环境的一项常见任务。可行驶区域分割和车道检测对于道路上安全且高效的导航尤为重要。为了满足自动驾驶汽车中可行驶区域和车道分割的高效轻量级，《TwinLiteNet: An Efficient and Lightweight Model for Driveable Area and Lane Segmentation in Self-Driving Cars》提出了一种用于可行驶区域和车道线分割的轻量级模型。TwinLiteNet设计代价低廉，但是可以获得精确且高效的分割结果。TwinLiteNet可以在计算能力有效的嵌入式设备上实时地运行，尤其是因为它在Jetson Xavier NX上实现了60FPS帧率，这使其成为自动驾驶汽车的理想解决方案。具体的开源方案已经在Github上实现了。

1. 主要贡献
本文的主要贡献如下：

1. 本文提出了一种用于可行驶区域分割和车道检测的计算高效框架；
2. 本文提出的架构基于ESPNet，它是一种可扩展的卷积分割网络，其结合了深度可分离卷积以及双重注意力网络，但是没有使用单个解码模块，而是针对每个任务利用两个解码模块，类似于YOLOP、YOLOPv2；
3. 本文实验结果表明，TwinLiteNet在各种图像分割任务上通过较少的参数实现了不错的性能。

2. 主要方法
说实话，这个工作目前还是没有脱离Unet框架的，可以作为Unet框架进行了解。首先，我们建议设计一个模型，其输入和输出如图1所示；我们的TwinLiteNet由一个输入和两个输出组成，以便模型学习两个不同任务的表示。然后，我们推荐使用双重注意力模块来提高模型性能。此外，本节还提出了用于训练模型的一些损失函数。我们还介绍了我们使用的训练和推理机制。下面的部分详细展示了我们提出的方法。

2.1 模型架构
本文提出了一种成本效益高的任务分割架构，称为TwinLiteNet，如图2所示。我们的方法利用ESPNNet-C作为信息编码块，实现了高效的特征图生成。我们将双重注意力模块融入网络中，以捕捉空间和通道维度上的全局依赖关系。这些模块增强了网络感知上下文信息的能力。然后，将得到的特征图通过两个专用于执行两个特定任务的编码器块进行处理：可驾驶区域分割和车道检测。通过采用这种架构，我们旨在以较低的成本实现这些任务的准确和高效的分割结果。

 点击经典文献阅读之--TwinLiteNet(可行驶区域和车道分割的高效轻量级模型) - 古月居可查看全文