智能座舱行为识别数据解决方案，助力打造第三空间新体验

智能座舱关注车内感知，通过在车内安装摄像头感知驾驶员和乘客的行为以及车内状况。座舱行为识别任务旨在识别车辆座舱中驾驶员及乘客的行为，改善驾乘体验提供技术支持，以提供驾驶员和乘客更好的驾乘体验和更安全的行车保障。

图片
图片
座舱行为识别-数据标注方式

对于不同的座舱行为，识别的人体目标不同，因此标注的方式不同，典型的标注方式包括人脸关键点标注，手势关键点标注，物品检测框标注，物品&行为标签标注。典型的例子如下：
1

人脸标注

此类标注方式用于识别人脸相关的行为。

例如疲劳驾驶识别、视线偏移识别等，具体的标注形式是标注人脸关键点+行为的标签。

2

人体&物品标注

此类标注方式用于识别人体及物体相关的行为。

例如抽烟识别、开车喝水、开车打电话等，具体的标注形式是标注物品的检测框+人手部检测框+行为类别标签信息。

3

手势标注

此类标注方式用于识别手势动作。

例如手指不同指向，手掌动作，手指滑动等，具体标注行为为标注手势关键点+手势类别标签信息。

图片
图片
座舱行为识别-任务难点

基于不同座舱行为与人体目标的实际情况，座舱行为识别任务具备行为复杂、光照以及性能三个难点：
1

行为复杂

座舱行为种类众多，并且部分行为存在一定程度的主观性（例如晕车、疲劳驾驶等行为），造成算法识别难度较大。

2

光照难点

汽车在行驶过程中会面临来自不同方向的强光干扰，造成人脸、人体、物体等目标会出现光照不均匀，此外在夜晚时间光照不足&#x