多模态情感识别_基于深度学习的多模态情绪识别与疲劳驾驶检测

近日，中新网报道了一起发生在湖州的交通事故：一辆小轿车以120迈的速度冲破高速公路护栏，在落差为四米左右的高空中滑行五六十米落地，砸入一片茂密的夹竹桃林。据驾驶员称，车内俩人是一对夫妻，趁着周末到湖州安吉旅游，回去路上车辆开了120KM/H的定速巡航。由于玩得太累了，开着开着两个人都打起了瞌睡，方向一偏车便冲出护栏发生了事故。

各种ADAS技术让车辆越来越智能，人开车时的注意力反而下降，容易产生疲劳。据统计，在2006-2010年内，中国交通事故引起的死亡人数每年超过7.5万。据美国国家公路交通安全管理局的统计，仅2015年，就有近9万次交通事故是由疲劳驾驶引发的。目前针对酒后驾驶、超速、超载等问题，已经有很好的检验技术，但是还没有可靠的疲劳驾驶检测技术。疲劳驾驶检测的困难之处在于疲劳驾驶是一个过程，不像酒后驾驶是一个时间点，而且对于疲劳级别的判断，没有客观的指标。
1月10日在2019国家智能产业峰会上，上海交通大学计算机科学与工程系仿脑计算与机器智能研究中心主任吕宝粮教授针对情绪识别与疲劳驾驶检测问题做了精彩的报告。报告详细介绍了国内外情感-脑-计算机交互的研究动态，和吕教授团队近几年在探索情绪识别的稳定脑电模式、应用迁移学习解决脑电个体差异和跨场景域适用问题、以及脑电与前额眼电融合的疲劳驾驶检测模型等方面的部分研究结果。他认为：随着干电极脑电采集技术、可穿戴设备和5G技术的迅速发展，基于脑电的情绪识别与疲劳驾驶检测正在从实验室走向真实环境，为开发面向实际应用的情绪预警与疲劳驾驶检测系统提供了新的技术手段。以下为智车科技整理的吕宝粮教授发言。

我今天想从以下这几个方面进行介绍，首先我介绍一下情绪识别和疲劳监测研究的背景，接下来介绍两方面的研究现状，第三部分主要是介绍我们最近几年在这个领域的一些工作，最后做一些小结和展望。情绪识别和疲劳监测研究的背景
在2015年，德国之翼航空公司发生了一个非常悲惨的空难事件，这个事件是由于副驾驶由于自杀引起的，有了这个事件以后，欧盟对于驾驶员的精神评估非常重视。第二个事故发生在台湾，台湾飞日本的新干线每小时270公里速度下发生的事故，尽管这个事故没造成人员伤亡，但是使乘客感到非常的恐惧。
再看看交通事故，实际上据不完全统计我们国家从06年—10年由于交通事故的死亡人数每年超过7.5万，美国2015年统计数据9万次交通事故是由于疲劳驾驶引起的，大家如果开车的话，每个人都会体验过疲劳驾驶的一些情况。
现在对饮酒驾驶，超员超载有非常好的技术，但是很遗憾全世界对疲劳驾驶没有一个很好监测，首先什么是疲劳？如何度量？因此最大的难点，疲劳是一个过程&