特斯拉的虚拟仿真系统
用于系统的训练和验证。
以往Training Data往往是对真实的传感器数据进行人工手动标注,或是改进的自动标注。现在,可以通过虚拟仿真平台进行了,相当于对孪生城市的标注。
明明拥有许多的真实世界数据的Tesla,为什么依然需要虚拟仿真呢?
- 模拟Corner Case,比如:小孩不顾交通规则突然冲进航行的车道,前面车辆突然刹车或侧翻,这些情况有可能发生于真实世界,但是有机会能够采集到的数据很少。而仿真则可以做到。
- 模拟难以Label的情况,比如:连续多帧数百人在街头闲逛,密集穿越马路,这种场景的标注成本极高,还容易标注错误,标注质量堪忧。
- 模拟闭环实验,对各种数据集不过是对真实世界的只言片语,没有上帝视角,而且只能单独验证感知系统或者决策规划系统。而有了虚拟仿真平台,就可以低成本地完成定位、感知、预测、决策规控等完整的自动驾驶闭环验证。
关键技术
- 1.Accurate Sensor Simulation–精准的传感器仿真技术(模拟真实传感器的特性、参数、视角,通过调试也可以直到真实传感器的设计
- 2.Photorealistic Rendering–光保真的渲染技术(模拟真实的光、保真的渲染,采用实时光追和神经渲染融合的技术
- 3.Diverse Actors & Locations–多样性的3D资产和环境(不同场景不同的人和事儿
- 4.Scalable Scenario Generation–可扩展的场景自动化生成技术
- 5.Scenario Reconstruction–真实场景重建技术(自动化重建复制出Tesla车载摄像头真实采集到场景和环境技术(包括静态的场景和动态的目标)
时域异构相机纹理融合
异构相机时序上texture-fusion(有位姿有稀疏深度)。
常规的sfm有拍摄要求,光度一致性、不能运动模糊、闭环数据、同一场景等,如openMVG。
但车辆是沿着一条路,拐弯的地方拐弯,类似内窥镜。所以车辆一般用多个相机合成的全景相机,通过多个异构相机做重建,放到同一个base下。
问题:
- 单个相机运动:阳光、遮挡,自动改变参数
- 涉及到不同相机,参数不同texture fusion不连贯
- 大场景三维重建,相邻像素点空间距离比较远,稀疏,插值效果问题?可以考虑机器学习条件随机场,深度学习,神经辐射场->预测比较连续的曝光属性,预测颜色变化连续,重建texture.传统开源ECCV:mvstexture.现在的趋势是神经辐射场、机器学习、异构相机协同这一类。
- 建图可以用开源软件做,形成全局一致,神经辐射场直接用,希望三维重建比较roubust,考虑不同相机曝光。
- 当俩相机并非双目形式,比如90°时,重建过度不平滑,可以通过训练texture从左向右连续表达。已有geometry上纹理,纹理融合。
Reference
https://zhuanlan.zhihu.com/p/402477460