CARLA视觉传感器系列实现原理分析

前言

欢迎大家在本文章积极评论，指出文章中没有解释清楚的、希望详细了解的地方。评论方式：请添加深信科创小助手的微信号（ID：synkrotron1），备注「CARLA」即可加入深信科创CARLA交流群，在群里进行交流与探讨。

研究出发点

得益于Unreal Engine，自动驾驶测试仿真工具CARLA在图像渲染方面有着远超其他仿真器的画面质量。最明显的就是CARLA中一系列的视觉传感器（Camera Sensor），本文从CARLA出发，深入UE内部，带大家理解CARLA中的视觉传感器及真值系统的实现原理。

CARLA自带语义分割传感器实现路径

1、知识铺垫

CARLA RGB摄像头传感器代码分析讲了Camera之间的继承关系。借用文中的一张图表达它们的层次关系。

• ASensor完成CARLA的抽象传感器功能；
• ASceneCaptureSensor实现UE渲染接口UTextureRenderTarget2D和USceneCaptureComponent2D的加入，并且USceneCaptureComponent2D控制着后处理（FPostProcessingSetting）参数；
• AShaderBasedSensor主要负责加入后处理材质(PostProcessing Material)，后处理材质也是一种shader，对着色有影响，AShaderBasedSensor是抽象类，不是具体的传感器函数，所以只提供功能，供继承子类扩展shader；
• ASceneCaptureCamera，ASemanticSegmentationCamera，AOpticalFlowCamera，ASemanticSegmentationCamera等其他camera均继承自AShaderBasedSensor，它们的逻辑大多都很简单，就是使用AShaderBasedSensor提供的AddPostProcessingMaterial接口，添加后处理材质，根据不同的传感器类型，有不同的着色需求。

2、UE层面理解Camera

• 后处理材质都放在哪

从代码中去看，拿语义分割Camera举例，该传感器用了两个后处理材质：物理畸变模型、GroundTruth标注，使用文件搜索关键词，能搜索到在文件夹中的位置。

从UE Editor里面去找，该文件属于CARLA插件带的材质，不属于场景内容文件，所以要在视图选项中选上 【显示插件内容】，才能在左边的内容浏览器目录中看到【CARLA内容】。在对应路径下就可以看到对应的材质文件。

点开后可以看到该材质文件的蓝图逻辑：

• 在UE Editor里可视化Camera（推荐看视频）

这里我参考了一篇文章，UE4场景采集之场景采集2D（https://blog.csdn.net/lei_7103/article/details/106020942）。这篇文章对我后面的帮助很大，而且我很推荐大家熟练掌握在UE Editor中使用各种Component的方式，因为这样会比重新写代码，编译代码，验证问题整个流程快很多，很多时候我们调整的Component参数可以直接在Editor里面尝试，可视化效果，在传感器开发的路上尤其重要。

下面用视频简单介绍一下UTextureRenderTarget2D和USceneCaptureComponent2D到底是什么：

视频里主要做了几个操作：

1.将SceneCapture2D拖入场景（初始化）

2.创建TextureRenderTarget2D（初始化）

3.将TextureRenderTarget2D指派给SceneCapture2D

4.选择渲染输出内容（可以选法线、底色、LDR、HDR等）

5.在【后期处理体积】里面，添加后处理材质，并选择从现有资产中添加

6.加入不同的后处理材质，查看效果

所以看完了对UTextureRenderTarget2D和USceneCaptureComponent2D的操作，我们大概就了解了它们分别是什么角色。

USceneCaptureComponent2D负责设置渲染的视角（FViewInfo）、传感器外参、后处理参数设置（FPostProcessSettings）、捕获源（Capture Source）等渲染需要的参数。

UTextureRenderTarget2D负责记录渲染结果，Source里面是该场景捕捉器的渲染结果Texture，然后通过一些取出Buffer的方式，将该渲染结果取出，然后通过CARLA写的一些传输数据方式，传给client端，然后再解码二进制。

3、语义分割的实现原理

• 语义分割的后处理材质蓝图

首先材质里引入了两个概念：场景深度、自定义深度。场景深度就是用于渲染的Z-Depth，光栅渲染判断前后关系用的，在GBuffer中也存在；自定义深度，自定义深度模具值，Custom Depth Stentil Value，CARLA拿来做语义分割的标记，以Actor为单位，可以用来区分不同物体，最后根据这个与CARLA内部逻辑，对图像进行上色。【CARLA官方文档-Create semantic tags】

如路面是7，路线是6

写在最后！

『深信科创CARLA交流群』招募开始啦！欢迎各位使用CARLA仿真器进行开发的爱好者入群进行交流_{后期群里将会不定期分享与CARLA有关的专业文章以及活动，也欢迎大家可以邀请身边感兴趣的朋友入群一起交流哈}

请添加深信科创小助手：synkrotron1，备注「CARLA」即可加入。

深信科创

致力于自动驾驶工业软件

深信科创是一家专注于提供自动驾驶仿真及智慧交通解决方案的国家高新技术企业。公司基于人工智能、软件测试、数字孪生与大数据等技术，致力于自动驾驶工具链的研发，拥有一支高素质的研发团队，研发了国际领先的自动驾驶仿真及数据闭环工具链SYNKROTRON® Oasis产品系列，能够提供高精度传感器模型、动力学模型及感知级交通环境仿真解决方案等，客户可以在仿真平台上对自动驾驶系统开展大规模的仿真测试和模型训练，提前识别自动驾驶系统缺陷、降低实车测试成本、消除场景端落地的安全隐患，加速自动驾驶技术在场景端的安全落地。

感知级交通环境仿真解决方案等，客户可以在仿真平台上对自动驾驶系统开展大规模的仿真测试和模型训练，提前识别自动驾驶系统缺陷、降低实车测试成本、消除场景端落地的安全隐患，加速自动驾驶技术在场景端的安全落地。

预约产品试用/技术交流：
手机端： https://synkrotron.ai/vue3/dist/index.html#/appoint_mobile
电脑端： https://synkrotron.ai/vue3/dist/index.html#/appoint_desktop