自动驾驶仿真：VTD建立多个Fisheye模型

已于 2022-04-01 11:38:17 修改
阅读量2.2k 收藏 35
点赞数 6
分类专栏： 自动驾驶仿真 文章标签： 自动驾驶
于 2022-03-31 19:48:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zataji/article/details/123880494
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

提示：以下是本篇文章正文内容，下面案例可供参考

一、Ubuntu的双显卡设置

1）我这里介绍的是使用两张显卡去处理这2个fisheye，因此显卡会有些特殊配置，包括分辨率，下图就是我想去实现的概况；
2）通过nvidia-setting将下面显卡和Screen绑定起来，因为VTD需要通过绑定Screen，并将IG分配到对应的显卡上；

3）显示器配置（配置多个显示器1920x1280 30HZ的视频输出）：
打开/etc/X11/xorg.conf，需要配置2个Screen，2个monitor，2个Device，并且需要通过AW EDID Editor的方式修改每个屏幕的分辨率（可以使用xrandr命令修改分辨率，我尝试是失败的），具体配置如下所示： 

Section "ServerLayout"
    Identifier     "Layout0"
    Screen      0  "Screen0" 0 0
    Screen      1  "Screen1" 1280 0
    InputDevice    "Keyboard0" "CoreKeyboard"
    InputDevice    "Mouse0" "CorePointer"
    Option         "Xinerama" "0"
EndSection
Section "Monitor"
    Identifier     "Monitor0"
    VendorName     "Unknown"
    ModelName      "DELL D2720DS"
    HorizSync       30.0 - 88.0
    VertRefresh     50.0 - 76.0
    Option         "DPMS"
EndSection
Section "Monitor"
    Identifier     "Monitor1"
    VendorName     "Unknown"
    ModelName      "DELL D2720DS"
    HorizSync       30.0 - 88.0
    VertRefresh     50.0 - 76.0
    Option         "DPMS"
EndSection
Section "Device"
    Identifier     "Device0"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "NVIDIA GeForce RTX 3080"
    BusID          "PCI:115:0:0"
EndSection
Section "Device"
    Identifier     "Device1"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "NVIDIA GeForce RTX 3080"
    BusID          "PCI:213:0:0"
EndSection
Section "Screen"
    Identifier     "Screen0"
    Device         "Device0"
    Monitor        "Monitor0"
    DefaultDepth    24
    Option         "CustomEDID" "GPU-0.DP-0:/home/ubunutuds/Desktop/edid_19201280_30.bin;GPU-0.DP-2:/home/ubunutuds/Desktop/edid_19201280_30.bin;GPU-0.DP-3:/home/ubunutuds/Desktop/edid_19201280_30.bin;GPU-0.DP-4:/home/ubunutuds/Desktop/edid_19201280_30.bin"  //这部分修改对应显示屏的分辨率，.bin文件是通过AW EDID Editor进行编辑的，自己使用的显示屏没有修改；
    Option         "Stereo" "0"
    Option         "nvidiaXineramaInfoOrder" "DFP-0"
    Option         "metamodes" "nvidia-auto-select +0+0"
    Option         "SLI" "Off"
    Option         "MultiGPU" "Off"
    Option         "BaseMosaic" "off"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection
Section "Screen"
    Identifier     "Screen1"
    Device         "Device1"
    Monitor        "Monitor1"
    DefaultDepth    24
    Option      "CustomEDID" "GPU-1.HDMI-0:/home/ubunutuds/Desktop/edid_19201280_30.bin;GPU-1.DP-0:/home/ubunutuds/Desktop/edid_19201280_30.bin;GPU-1.DP-2:/home/ubunutuds/Desktop/edid_19201280_30.bin;GPU-1.DP-3:/home/ubunutuds/Desktop/edid_19201280_30.bin;GPU-1.DP-4:/home/ubunutuds/Desktop/edid_19201280_30.bin" //这部分修改对应显示屏的分辨率，.bin文件是通过AW EDID Editor进行编辑的，可以网上搜索教程；
    #Option         "nvidiaXineramaInfoOrder" "DFP-1"
    Option         "Stereo" "0"
    Option         "nvidiaXineramaInfoOrder" "DFP-1"
    Option         "metamodes" "DP-0: nvidia-auto-select +0+0, DP-2: nvidia-auto-select +1920+0"
    Option         "SLI" "Off"
    Option         "MultiGPU" "Off"
    Option         "BaseMosaic" "off"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

注意：配置完成后显卡2没有视屏输出，黑屏属于正常现象，不影响IG画面的显示；

二、双Fisheyes的配置过程

1)VTD中各文件的依赖关系：

配置2个IG，Simserver.xml，AutoCfg.xml，AutoCfgDisplay.xml，IGbase，之间的依赖关系是：

重要：由于鱼眼摄像头是需要畸变的，所以我们需要通过lensDistortion工具配置畸变表、分辨率、像素点大小、焦距、FOV角度等参数生成对应的AutoCfgDisplay.xml、IGbase、.dat畸变插件等配置文件，而实现摄像头以畸变的状态显示在IG上（lensDistortion工具是跟VTD拿的）。

注意：.dat文件需要放置在~Date/Setups/Project_name/ImageGenerator中；

3）Simserver需要做什么？

①复制2个IG的Process，并修改该对应的name和cmdline的参数，1个IG对应一个Process，如下图所示，更改红色部分。

代码如下（示例）：

<Process
        group="igGroup"
        name="igCtr1"  
        auto="false"
        explicitLoad="false"
        path="$VI_CORE_DIR/ImageGenerator/bin"
        executable="vigcar"
        cmdline="$VI_CURRENT_SETUP/Config/ImageGenerator/AutoCfg1.xml -m 0x01" 
        useXterm="true"
        xtermOptions="-fg Black -bg LightGoldenRod -geometry 80x10+508+163"
        affinitymask="0xFF"
        schedPolicy="SCHED_RR"
        schedPriority="20"
        workDir="$VI_CURRENT_SETUP/Bin">
        <EnvVar name="LD_LIBRARY_PATH" val="$VI_CORE_DIR/ImageGenerator/bin:$VI_CORE_DIR/ImageGenerator/lib"/> 
      </Process>

<Process
        group="igGroup"
        name="igCtr2"  
        auto="false"
        explicitLoad="false"
        path="$VI_CORE_DIR/ImageGenerator/bin"
        executable="vigcar"
        cmdline="$VI_CURRENT_SETUP/Config/ImageGenerator/AutoCfg2.xml -m 0x01" 
        useXterm="true"
        xtermOptions="-fg Black -bg LightGoldenRod -geometry 80x10+508+163"
        affinitymask="0xFF"
        schedPolicy="SCHED_RR"
        schedPriority="20"
        workDir="$VI_CURRENT_SETUP/Bin">
        <EnvVar name="LD_LIBRARY_PATH" val="$VI_CORE_DIR/ImageGenerator/bin:$VI_CORE_DIR/ImageGenerator/lib"/> 
      </Process>

4）AutoCfg.xml需要做什么？

①找到对应Project文件夹中的 ~Data/Setups/Project_name/ImageGenerator/AutoCfg.xml，复制2个IG所需要的副本文件AutoCfg1.xml，AutoCfg2.xml。

②修改AutoCfg1.xml文件中的下述红色部分：

<IGconfig>
  <Includes>
    <Include file="IGLinks/Setup/Config/ImageGenerator/TopViewShadows.xml" />
    <Include file="IGLinks/Setup/Config/ImageGenerator/IGbase1.xml" />
    <Include file="IGLinks/Vig/data/Sky/HighContrastSky.xml" />
    <Include file="IGLinks/Distro/Config/ImageGenerator/MaterialsHCS.xml" />
    <Include file="IGLinks/Distro/Config/ImageGenerator/SymbolsStd.xml" />
    <Include file="IGLinks/Distro/Config/ImageGenerator/LightSrcStd.xml" />
    <Include file="IGLinks/Setup/Config/ImageGenerator/AutoCfgDisplay1.xml" />
    <Include file="IGLinks/Setup/Config/ImageGenerator/AutoCfgDatabase.xml" />
  </Includes>
</IGconfig>

③修改AutoCfg2.xml文件中的下述红色部分：

<IGconfig>
  <Includes>
    <Include file="IGLinks/Setup/Config/ImageGenerator/TopViewShadows.xml" />
    <Include file="IGLinks/Setup/Config/ImageGenerator/IGbase2.xml" />
    <Include file="IGLinks/Vig/data/Sky/HighContrastSky.xml" />
    <Include file="IGLinks/Distro/Config/ImageGenerator/MaterialsHCS.xml" />
    <Include file="IGLinks/Distro/Config/ImageGenerator/SymbolsStd.xml" />
    <Include file="IGLinks/Distro/Config/ImageGenerator/LightSrcStd.xml" />
    <Include file="IGLinks/Setup/Config/ImageGenerator/AutoCfgDisplay2.xml" />
    <Include file="IGLinks/Setup/Config/ImageGenerator/AutoCfgDatabase.xml" />
  </Includes>
</IGconfig>

5）AutoCfgDisplay.xml需要做什么？

①复制lensDistortion工具生成的AutoCfgDisplay.xml 文件到Project文件夹中的 ~Data/Setups/Project_name/ImageGenerator路径，建立2个IG所需要的副本文件AutoCfgDisplay1.xml，AutoCfgDisplay2.xml。

②配置对应的drawThreadCPUAffinity和 appCullThreadCPUAffinity到不同的CPU上，用于资源合理分配（命令窗口输入top，再按1，可以看到不同CPU的状态）

③配置IG到不同的Screen上；

④配置对应的鱼眼摄像头到不同的车辆安装位置；

③修改AutoCfgDisplay1.xml文件中的下述红色部分：

<IGconfig>
  <SystemConfig>
 <Graphics smallFeatureCullPixelSize="3.9"  lodscale="0.9" gamma="1 1 1"  
               enableCursor="1" enableDatabasePagerThread="0" 
               drawThreadCPUAffinity="2" appCullThreadCPUAffinity="1"  //递增数字即可，一般不用CPU0； 
               enableTransparencyAntialiasing="1" enableMultisampling="1" 
               schedulerStabilization="1" configurationProfile="HIGH_CONTRAST" 
               isLocalLightingSupportEnabled="1" 
threadingModel="CullThreadPerCameraDrawThreadPerContext"
 targetFramerate="60">
<RenderSurface name="Fisheye" x="0" y="0" width="1280" height="960"  //name要和renderSurface中的一致；
               depthBits="24" stencilBits="1" sampleBuffers="0" 
               samples="0" borderVisible="1" overrideRedirect="0" 
               displayNum="0" screenNum="0" pbuffer="0"/>        //由于IG1显示在显卡0，因此配置到screenNum0上即可，displayNum按照Nvidia-settings→X Screen 0中的设置填写；
 <Camera name="cam1" renderSurface="Fisheye" viewPortX="0" viewPortY="0" 
              viewPortWidth="1280" viewPortHeight="960">
 <SymmetricPerspectiveAngles fovX="210" fovY="210" near="1" far="1000" 
              offsetHPR="180 -25.59 0" offsetXYZ="0 -3.804 0.874"/>   //自定义修改该镜头的安装参数；
       </Camera>
     </Graphics>
   </SystemConfig>
</IGconfig>

③修改AutoCfgDisplay2.xml文件中的下述红色部分：

<IGconfig>
  <SystemConfig>
 <Graphics smallFeatureCullPixelSize="3.9"  lodscale="0.9" gamma="1 1 1"  
               enableCursor="1" enableDatabasePagerThread="0" 
               drawThreadCPUAffinity="4" appCullThreadCPUAffinity="3"  //递增数字即可，一般不用CPU0； 
               enableTransparencyAntialiasing="1" enableMultisampling="1" 
               schedulerStabilization="1" configurationProfile="HIGH_CONTRAST" 
               isLocalLightingSupportEnabled="1" 
threadingModel="CullThreadPerCameraDrawThreadPerContext"
 targetFramerate="60">
<RenderSurface name="Fisheye2" x="0" y="0" width="1280" height="960"  //name要和renderSurface中的一致；
               depthBits="24" stencilBits="1" sampleBuffers="0" 
               samples="0" borderVisible="1" overrideRedirect="0" 
               displayNum="0" screenNum="1" pbuffer="0"/>        //由于IG1显示在显卡0，因此配置到screenNum0上即可，displayNum按照Nvidia-settings→X Screen 0中的设置填写；
 <Camera name="cam2" renderSurface="Fisheye2" viewPortX="0" viewPortY="0" 
              viewPortWidth="1280" viewPortHeight="960">
 <SymmetricPerspectiveAngles fovX="210" fovY="210" near="1" far="1000" 
              offsetHPR="180 -25.59 0" offsetXYZ="0 -3.804 0.874"/>   //自定义修改该镜头的安装参数；
       </Camera>
     </Graphics>
   </SystemConfig>
</IGconfig>

安装镜头时需要参考坐标系，原点是车辆后轴中心：

 6）IGbase需要做什么？

①复制lensDistortion工具生成的IGbase.xml到对应Project文件夹中 ~Data/Setups/Project_name/ImageGenerator/，建立2个IG所需要的副本文件IGbase1.xml，IGbase2.xml。

②修改IGbase1中的RDBInterface、PostProcessingPipelineConfigurator部分:

RDBInterface：

 <RDBInterface name="MyRDBInterfaceCam1" printDebugInfo="0" ignoreShmFlags="0">
 <ShmLayoutImage key="0x08130" />
</RDBInterface> //配置独立的name,key,用于摄像头数据读取；
PostProcessingPipelineConfigurator：

<PostProcessingPipelineConfigurator name="OriginalSceneConfiguratorCam1" >
 <Pipeline hideSceneFromDefaultView="1" viewName="cam1">

TAKATA：

connectImageTransferTCP="0"  //多个IG即使显存足够也会出现屏幕渲染帧率低，因此需要设置0；

 

②修改IGbase2中的RDBInterface、PostProcessingPipelineConfigurator部分:

RDBInterface：

 <RDBInterface name="MyRDBInterfaceCam2" printDebugInfo="0" ignoreShmFlags="0">
 <ShmLayoutImage key="0x08130" />
</RDBInterface> //配置独立的name,key,用于摄像头数据读取；
PostProcessingPipelineConfigurator：

<PostProcessingPipelineConfigurator name="OriginalSceneConfiguratorCam2" >
 <Pipeline hideSceneFromDefaultView="1" viewName="cam2">

TAKATA：

connectImageTransferTCP="0"  //多个IG即使显存足够也会出现屏幕渲染帧率低，因此需要设置0；

7）修改GUI中的Setup：

imgPortConnect设置成false;

 完成设置，点击运行看看效果；

三、Fisheyes效果图

自动驾驶simulation
关注
  • 6
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 12
    评论
专栏目录
自动驾驶仿真软件VTD使用教程
12-27
【自动驾驶仿真软件VTD使用教程】是...总之，这个“自动驾驶仿真软件VTD使用教程”不仅涵盖了VTD的基本操作，还包括了服务器上的模型训练、数据处理、模型转换和部署的详细过程，是学习和实践自动驾驶技术的宝贵资料。
VTD自动驾驶仿真测试方案
10-27
VTD的主要功能包括交通模拟、场景模拟、图像生成以及传感器仿真等，这些功能共同构成了一个完整的自动驾驶测试与验证解决方案。 #### 二、VTD的核心组件与功能 ##### 1. **交通模拟** - **目的**：模拟真实的道路...
0基础入门VTD—VTD软件架构二
Waylancer的博客
11-03 446
如果 SCP是关于交通的，比如让某车换道，那么信息会给Traffic里的驾驶员模型来执行。重要的是，根据extern车辆的驾驶员配置，制作出当前这一帧的驾驶行为信息。Traffic启动，即它知道了需要执行的场景文件xml和逻辑道路文件xodr是哪个ig 启动，即它知道了需要执行的场景文件osfb，天空模型材质数据，车辆模型等等都在哪里。如：传感器plugin得到了数据，会根据传感器的参数，对数据过滤，然后组织结果，发到指定端口。如：驾驶信息传递给MM，场景信息也要给MM，如果SE启动了，也会给它。
相机模型-鱼眼模型（fisheye camera model）
weixin_43304707的博客
01-31 1万+
鱼眼相机模型模型介绍等距投影等立体角投影正交投影体视投影线性投影 之前总结了一下针孔相机的模型，然后得到了比较积极的回复（其实是我到处求人关注的，虽然截至到目前才三个人），所以就再接再励，乘胜追击（也没得办法，夸下的海口，跪着也要做完），继续总结其他相机模型。 模型介绍 鱼眼相机相较于针孔相机来说，视野更广，但畸变也更加严重，因此普通的针孔模型已不适用。鱼眼镜头的基本构造如图所示，经过多个镜头的折射，最终到达成像单元上。文章中所有图片均来自于网络，非本人所绘。 一般情况下，可以通过控制光线的路径来设计各种
VTD仿真教程
最新发布
qq_69580270的博客
05-29 563
选择files-Scenarios-04_frontcar_cutin_5_1.xml。选择NationalCompetition(13)显示如下画面即为启动成功。
【CV】鱼眼相机模型与畸变矫正(Fisheye Camera Model & Calibration)
热门推荐
北境の守望者
07-12 1万+
Ref Fisheye Calibration Basics – MATLAB
鱼眼相机标定模型
Catullus的博客
03-08 1517
Camera Calibration是计算Camera的extrinsic（外参）和 intrinsic（内参）的过程。一旦你标定完成了一个camera，你即可从2维图像中去恢复3维图像。你同样可以在在一个鱼眼相机中获得未失真的图像。 鱼眼相机可以被用于里程计（odometry）以及vslam（simultaneous localization and mapping）。其他应用中，有包括监控系统...
鱼眼镜头校准实验
ArthurLiuG的博客
06-09 789
A normal lens has pincushion or barrel distortion which can be corrected for to give a perfect perspective projection, a pin-hole camera. This is called "rectification" and is often applied before any warp/stitch/blending is applied, for example, in panora
Monocular Fisheye Camera Depth Estimation Using Sparse LiDAR Supervision
kebijuelun的博客
01-27 2943
Paper name Monocular Fisheye Camera Depth Estimation Using Sparse LiDAR Supervision Paper Reading Note URL: https://arxiv.org/pdf/1803.06192.pdf TL;DR 2018 年 ITSC 文章，出自于德国 Valeo 自动驾驶公司，提出了单目鱼眼深度估计的有监督训练方案，并针对雷达与鱼眼相机安装位置不一样造成的遮挡问题提出了一种基于形态学滤波的过滤方法 Introdu
BMW集团：使用VIRES VTD为自动驾驶系统生成和验证传感器模型
05-26
近年来，随着传感器技术和数据处理算法的进步，自动驾驶系统已经取得了很大的进展，能够提升车辆驾驶员和乘客的安全性和舒适度。然而，由于自动驾驶的复杂性，确保和验证自动驾驶系统安全用于公共道路仍然是主要挑战...
2019-国内自动驾驶仿真研究报告-113页-完整版 .pdf
06-04
搭建自动驾驶仿真测试环境的技术方案涉及多个方面： 1. 虚拟场景的构建包括场景内容设计和使用的技术手段，以模拟真实世界中的驾驶环境。 2. 传感器仿真重点关注激光雷达、摄像头、毫米波雷达等关键传感器的模拟。 3...
鱼眼相机（畸变）内参标定方法及代码实例
TimeRiverForever的博客
03-18 3170
概述 鱼眼相机模型 标定原理 代码实例
鱼眼图像自监督深度估计原理分析和Omnidet核心代码解读
苹果姐计算机视觉原创知识分享
05-01 1562
在自动驾驶实际应用中，对相机传感器的要求之一是拥有尽可能大的视野范围，鱼眼相机由于视场角（FOV）极大（标准镜头45°左右，广角镜头可大于60°，鱼眼相机可大于180°，也就是说甚至可以看到镜头后面的场景），在自动驾驶汽车上广泛使用。所以如何直接从鱼眼相机图像中估计深度是自动驾驶实际落地的一个重点问题。 然而鱼眼相机的大FOV带来的是非常大的非线性畸变，这决定了相比一般针孔相机，鱼眼相机图像的深度估计方法将更加复杂。虽然一个思路是对畸变进行矫正后再进行深度估计，但校正必定会引起FOV的缩小，失去使用鱼眼相
自动驾驶仿真：VTD的SCP命令详解
zataji的博客
07-03 4229
VTD的SCP（Simulation Control Protocol ）用于进行非周期性的，即事件性的信息交互。通过发送SCP命令给到TaskControl，TaskControl根据命令的内容分发到进程，从而实现对VTD的操作，因此SCP是VTD自动化的基础。1、VTD软件主页面最下方有SCP的发送和接收的命令栏，命令栏会显示所有发送和接收到的SCP命令。 1、我们可以在Scenario界面添加车辆，通过双击车辆进入properties界面，然后在Actions界面中的SCP中添加SCP命令；1）创建端
一份超详细的VTD安装指南（内容含如何安装ubuntu系统及如何在ubuntu中安装显卡驱动）
茗兮的博客
09-28 1万+
  前言的前言：这篇实在太长了！！！长到一直懒得传到博客里，今天终于鼓起勇气啦！   前言   请务必仔细阅读以下部分，有暂时看不懂的，遇到问题时请随时回来查阅   Tips：   1.安装过程中请保持网络畅通，否则你不知道会遇到什么鬼问题。可能由于网络问题出现的报错：“解释器错误：没有那个文件或目录”、“无法解析域名”等。   2.建议安装时再准备另外一台电脑，可以随时查资料下载东西什么的很方便。   3.建议不要使用其他版本的安装包，否则可能会出奇奇怪怪的指南里面写不到的问题。   4.所有文件夹都不要
VTD安装教程
dreautumn的博客
02-14 2223
VTD安装及配置license教程
点击率预估与冷启动（二）
GeorgePigX的博客
03-20 273
上一篇文章点击率预估与冷启动（一）咱们说到了键值储存网络，今天我们接着往下说。 键值储存网络实现了字典特征到向量的转换，而我们希望得到的是连续值特征到向量的转换。我们其实只需要再实现连续值到字典特征的转化就大功告成了。虽然连续值特征到向量很难，但是连续值特征到字典特征的实现方式却有很多。 假定有了连续值特征到字典特征的转化，那么总体架构和键值记忆网络基本一致，如下图所示： 连续值特征到字典特征的转化即图中的Key-Value Memory，如何实现这部分应当结合具体业务场景的数据...
自动驾驶仿真：VTD调用罗技 G923方向盘（Linux环境）
zataji的博客
11-11 3586
支持linux环境调用Logitech G25、Logitech G27、Logitech G29、Logitech G923等等
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

自动驾驶simulation

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值