自动驾驶虚拟仿真平台、与MVS相关的一些问题

特斯拉的虚拟仿真系统

用于系统的训练和验证。
以往Training Data往往是对真实的传感器数据进行人工手动标注，或是改进的自动标注。现在，可以通过虚拟仿真平台进行了，相当于对孪生城市的标注。

明明拥有许多的真实世界数据的Tesla，为什么依然需要虚拟仿真呢？

• 模拟Corner Case，比如：小孩不顾交通规则突然冲进航行的车道，前面车辆突然刹车或侧翻，这些情况有可能发生于真实世界，但是有机会能够采集到的数据很少。而仿真则可以做到。
• 模拟难以Label的情况，比如：连续多帧数百人在街头闲逛，密集穿越马路，这种场景的标注成本极高，还容易标注错误，标注质量堪忧。
• 模拟闭环实验，对各种数据集不过是对真实世界的只言片语，没有上帝视角，而且只能单独验证感知系统或者决策规划系统。而有了虚拟仿真平台，就可以低成本地完成定位、感知、预测、决策规控等完整的自动驾驶闭环验证。

关键技术

• 1.Accurate Sensor Simulation–精准的传感器仿真技术（模拟真实传感器的特性、参数、视角，通过调试也可以直到真实传感器的设计
• 2.Photorealistic Rendering–光保真的渲染技术（模拟真实的光、保真的渲染，采用实时光追和神经渲染融合的技术
• 3.Diverse Actors & Locations–多样性的3D资产和环境（不同场景不同的人和事儿
• 4.Scalable Scenario Generation–可扩展的场景自动化生成技术
• 5.Scenario Reconstruction–真实场景重建技术（自动化重建复制出Tesla车载摄像头真实采集到场景和环境技术（包括静态的场景和动态的目标）

时域异构相机纹理融合

异构相机时序上texture-fusion（有位姿有稀疏深度）。

常规的sfm有拍摄要求，光度一致性、不能运动模糊、闭环数据、同一场景等，如openMVG。

但车辆是沿着一条路，拐弯的地方拐弯，类似内窥镜。所以车辆一般用多个相机合成的全景相机，通过多个异构相机做重建，放到同一个base下。

问题：

• 单个相机运动：阳光、遮挡，自动改变参数
• 涉及到不同相机，参数不同texture fusion不连贯
• 大场景三维重建，相邻像素点空间距离比较远，稀疏，插值效果问题？可以考虑机器学习条件随机场，深度学习，神经辐射场->预测比较连续的曝光属性，预测颜色变化连续，重建texture.传统开源ECCV：mvstexture.现在的趋势是神经辐射场、机器学习、异构相机协同这一类。
• 建图可以用开源软件做，形成全局一致，神经辐射场直接用，希望三维重建比较roubust，考虑不同相机曝光。
• 当俩相机并非双目形式，比如90°时，重建过度不平滑，可以通过训练texture从左向右连续表达。已有geometry上纹理，纹理融合。

Reference

https://zhuanlan.zhihu.com/p/402477460