实物仿真平台设计方案：927-8路GMSL视频注入回灌的自动驾驶半实物仿真平台

8路GMSL视频注入回灌的自动驾驶半实物仿真平台 一、平台介绍       产品基于8路GMSL视频注入回灌的自动驾驶半实物仿真平台旨在提高实验室及研究生院师生在基础软件层开发、计算机视觉和深度学习方面的专业知识学习和实践能力，为师生提供一个稳定软件开发和多精度框架学习和训练平台，为后续相关专业技能培训提供提供全面的硬件加速支持和软件仿真模拟服务，完善相关行业中的应用并实现全面测试评估。 二、硬件介绍       产品有三块组成，高性能计算服务器、高性能GPU卡以及8 通道车载视频注入卡组成，下面分别对硬件进行介绍： 2.1高性能计算服务器       高性能计算服务器，配置清单： 类别 品名规格说明 数量 处理器 Intel Xeon Platinum 8350C 2.6GHz 32C/64T 2 内存 三星 32G DDR4 2666 R-ECC 服务器内存 2 SSD 三星 1T NVME M.2 固态硬盘 1 SSD WD 2T HDD 3.5寸 机械硬盘 1 主板 超微 X12DAI-N6 芯片组服务器主板 1 电源 长城 1600W 2U 1+1冗余电源 1 散热器 定制温控散热器 2 GPU辅助散热 定制GPU辅助散热器 2 机箱 定制2U机箱 （含导轨） 1       主板：X12DAI-N6介绍       机架式服务器机箱，工作温度：工作时5℃～35℃，存储-40℃～60℃ 2.2 高性能GPU卡：深度计算处理器 DCU ZlOOL      2.3 8通道视频图像采集卡： 8个GMSL摄像头输入，最大支持800万像素30fps；  ● PCIe Gen3*8lane；  ● 摄像头支持外触发同步；  ● 支持GPS授时同步；  ● 支持网络PTP授时同步；  ● 支持视频同步在ms级别 参数：  ● 电压：12 V-14V，电流: 1 A  ● 工作温度范围：-20°C to 70°C；  ● 存储温度范围-40°C up to 80°C；       介绍原理框图介绍 2.4 8 通道车载视频回灌卡： 关键参数：       8 通道车载视频注入卡，是一款自动驾驶硬件在环仿真HIL 产品，只需要1 个PCIE 3.0X16 槽位，就可以实现8 通道视频数据、2 通道1000Mbase-T1 数据、8 路CAN/CAN-FD 数据对目标ECU 进行注入，并提供gPTP 时间戳同步功能，保证多通道数据的同步性，具有高集成度，高可靠性等特点，为客户节省使用空间，降低能耗，还可以降低整套设备的成本。 项目 内容 项目 内容 串行器 可模拟MAX96717 / MAX96717F /MAX9295A / MAX96793 对应解串器 支持MAX96712 / MAX9296A /MAX96792 等 CAN-FD 8 个CAN / CAN-FD 接口 通道数 8 通道视频输出 视频格式 YUV422、RAW12 PCIE PCI Express Gen 3 x16 输出分辨率 最多支持8 通道4096×2160@30fps 输出 FAKRA 4 合1 Amphenal Z code min-Fakra 车载 3 个1000M Base-T1 接口 线缆长度 GMSL3 模式下可达18 米（12Gbps） GMSL2 模式下可达20 米（6Gbps） 以太网 支持PTP 授时时间戳，精度小于1ms 操作系统 Linux / Window 升级 支持PC 端固件升级 存储温度 -40℃～85℃ 工作温度 -40℃～70℃ 存储湿度 0～90% 工作湿度 10%～90% 重量 450g 供电 PCIE 供电/ 12V 供电 MTBF 5 年 尺寸 长宽：111* 190（mm） 接口说明：       对外接口在挡板处共引出3 个1000BASE_T1 接口，其中一个用于gPTP 同步及板卡管理，2 个可以用于数据注入网口；2 个4 合1 Fakra 接口引出8 路视频注入接口；2 个航空插座引出8 路CAN_FD 接口。    三、软件介绍 3.1车道图像预处理：       图像预处理主要是尽可能降低信息复杂程度、过滤筛除图像噪音，方便后续车道线识别工作。相比较原始采集图像，预处理后图像中信息耦合程度降低，感兴趣信息凸显，噪音等干扰信息最大程度被过滤，可提高后续识别算法处理速度、降低运算时间。主流预处理步骤包括：感兴趣区域选择、灰度化、图像滤波、二值化、边缘检测。本方案采样如下图： 3.2软件界面介绍：       我公司在该套硬件开发了具有智能视觉分类，目标识别，图像分割算法库。 图像分割算法库大概介绍： 所属领域 模型类别 模型名称 智能视觉 图像分类 AlexNet 智能视觉 图像分类 DenseNet264 智能视觉 图像分类 DPN92 智能推荐 召回 Word2Vec 强化学习 离散控制 GA3C 强化学习 机器人控制 DDPG 强化学习 游戏智能 A2C 强化学习 游戏智能 DQN 强化学习 电网控制 L2RPN 智能调参 网络搜索 Darts … … … 软件界面：       360度环绕感知      四、应用领域：       视频注入回灌， 算法优化，将道路实际采集到的数据，注入回灌给ADCU / ECU，还原道路真实情况，优化算法，硬件在环仿真测试 (HIL)，模拟车载摄像头，将软件仿真的场景数据通过注入卡发到ADCU / ECU，虚拟车辆的道路等信息等。