2021-01-31 Mobileye的R&D VP关于感知技术的介绍

视频简介

Mobileye的R&D VP关于感知技术的介绍
AV Sensing Tech and Algorithms with Gaby Hayon of Mobileye

Talk时间： 2019年11月，放出来时是2020年底，已经过去了一年。
新的可以看CES2021 Amnon Shashua的talk

Slides可在intel网站下载：slides，或者csdn搬运下载。

---

总结

• 视频里有些跳跃，演讲人不太熟。有些PPT里的材料略过了，建议仔细看PPT文件。
• 和2021CES的talk相比，仍然注重说明True Redundancy
• 2019年底的概念，还是12目，而不是2021年初的11目8M。
  • 从150+52，减少到1个120° 8M，说明这一个足够cover 52°原来分辨率（猜测是1080p或720p）的观测距离。
• CV环境模型中的4类别分类可以借鉴一下：RG(Road Geometry) / RB(Road Boundary) / RU(Road User) / RS(Road Semantics).
• CV检测用到了不同算法的冗余（但不一定每个application都有多个算法覆盖）
• 除了通常的检测，还有些其他值得注意的检测：
  • 开车门
  • 轮子
  • debris
• ViDAR概念，CV出深度并用LiDAR算法
  • multi-view depth网络
  • single-view depth网络

疑问

• Vector Field，或者generalized HPP是什么，还需调研下

---

摘要

• True redundancy，环视CV 或 Radar/LiDAR系统，两套可以独立工作，达到相同的spec。
• 12目视觉传感器配置：前视三目 150+52+28°，左右侧前100°，左右侧后100°，后方52°，4个环视鱼眼。分辨率未知。
  • 注意到，2021CES的talk里，前视改为了120°+28°的两个8M相机。
• 纯视觉系统，也通过不同算法进行冗余
  • object/lane/wheel检测、语义分割、道路语义网络
  • 有 single-view parallax net、multi-view depth net
  • 从话中听出，目前还没有实用。将在future出现这样的第三套系统。
• generalized HPP提供道路几何信息
• Object检测
  • 使用stitched 360°图像，来检测所有周围的物体
  • 相机间需要ReID
• Metric Dimension估计，直接从网络出
• 车门检测，特别提到没有接地
• occupancy grid，从环视+前视出freespace
• RU语义
  • 车的head/pose朝向
  • 行人的姿态和手势
  • 车灯
  • 应急车辆
• RU检测，除了使用appearence based，也有structure based。通过multi-view深度学习出的depth，进行检测。
• RG
• 高尔夫车上已经有很好的车道保持功能（construction area demo）
• Vector Field（VF）
• RB
  • 会用parallax net来检测debris（general objects）

部分截图

不如直接看上面的slides

True Redundancy

视觉传感器配置

ME的CV环境模型

视觉内部冗余