关于事件相机的整理与思考

来源丨新机器视觉、韦心雕AI

佐思周彦武老师的事件相机,引发了对帧事件的思考。基于该思考,对事件相机做一个整理,具体算法不去解释。主要参考<Event-based Vision: A Survey>

事件相机最初是神经形态学工程的一个产物,主要是利用VLSI(Very Large Scale Integration)去模拟、实现人与其他动物大脑中的某些神经元构造,如人眼只关注相对运动的物体,而不去关心相对静止的物体,这里的相对运动使用脉冲编码方式来实现(即事件相机)。

事件相机与传统相机存在很大的差别,相比于传统相机以固定频率采集图像,事件相机大多是通过测量每个像素的亮度变化来输出异步信号(包括事件、位置和亮度变化的符号)。事件相机与传统相机相比有很多的优点:

  1. 没有帧率的概念,它不同于等时间间距采样的方式,其通过等亮度变化值采样的方式,可以捕捉更快的动作,对快速变化的亮度十分敏感,所以不受运动模糊的影响;

  2. 单个像素的电路设计比较复杂,无法获得单个像素的亮度值,并且其采用对数响应的方式,所以可以获得较高的动态测量范围和高时间分辨率;

  3. 减少数据冗余,极大减小了数据的传输带宽;

由于其众多的优点,事件相机被应用在物体跟踪、识别、手势控制、三维重建、光溜估计、SLAM等领域。

一)事件相机的原理

dedecd60cfecbdc6cf9306c357a42113.png

如上图,每个像素都有一个计算电路,左边的光电转换电路将光强转换为电压值,使用一个差分电路,计算像素亮度的变化(该变化说明,事件相机取决于亮度的变化,与亮度的绝对值无关),当亮度变化累积达到一定阈值(该阈值一般为相机的固有参数)后,就会触发信号。该相机采用特殊的编码方式,即Address Event Representation,进行二值图像的压缩,一般图像的编解码都会被供应商集成到硬件SDK中。

二)关于事件的理解

事件相机,重点在于事件的理解。所谓的事件有三个要素:1)时间戳、2)像素坐标、3)极性;即一个事件可以表达为“在什么时间,哪个像素点,发生了亮度的增加或者减小”。

当场景中由物体运动或光照改变造成大量像素变化时,就会产生一系列的事件,这些事件以事件流(Events stream)方式输出,事件流的数据量远远小于传统相机的数据,且没有最小实践单位。所以具有低延迟的特性。以下装置来说明事件相机:

a5e44ebcc151fc0006f3b70ad94aaf66.png

上图可以抽象为如下,图中的polarity可以是1,也可以是-1,用来表示该像素是变亮还是变暗,将事件分为on和offer。下图右侧上方,是传统相机的输出,下方为事件相机的输出。当圆盘转动时,传统相机会定时拍摄完整的图像,下方事件相机仅会输出变化,即黑斑的运动。当圆盘不动时,传统相机依然会傻傻的拍摄图像,而事件相机则不会产生任何输出(传统相机很痴情,事件相机很渣)。

4decb0b9e156a55c1000af85ac54017b.png

当转速很快时:

db0f81e9c469f4f2bed46c8b01c8733c.png

事件相机一个特点就是快,两个events之间平均时间差约为0.1us左右;虽然在事件相机中,输出的event只有高低电平之分,无法分辨intensity,但不同强度的变化所激发的event数量是不同的。如果有条件进行实验的话(推荐CeleX5,非广告,便宜有方便),当相机运动时,视野内会出现一条明暗边界,由于边界两边存在明暗对比,边界会激发一条同形状的event点群;同样的形状下,明暗对比越大的边界,在相同情况下激发的event数量越多,这样就可以得到较为粗糙的强度信息。如上图中低速运动和高速运动所激发的event数量有明显的不同。

三)事件相机的处理范式

事件相机的处理一般有两种方法,一是模型驱动型,从其他传感器获得模型,如半稠密图,然后通过处理一个个事件来更新系统状态;另一个是数据驱动,利用机器学习的方法来获取事件之间的关联性。

由于事件相机输出的是事件流,有三种常见的处理范式,分别为:

a)Event-by-Event:Event-by-Event方法会被用在很多任务中,如slam中的特征追踪、位姿追踪以及图像重建等。如前面提到event经常大量出现在明暗分界线明显的地方。在vSLAM的Visual Odometry(通过求相邻图像的差别来计算相机的姿态变换,然后求得相机的位姿)中,基于feature based approach使用的feature一般也都是在明暗分明的地方。所以在vSLAM中,采用事件相机可以帮助过滤一些无用的信息,减少计算量。

b)Groups of Events:由于每个事件携带的信息比较少,且容易收到噪声的影响,所以一般截取一段时间内的事件一起处理,这样可以为需要解决的问题产生足够的信噪比。这样可以将事件转换为传统相机的frame,然后运动传统的视觉方法进行解决。另外也可以直接利用event之间的关联性,来进行目标检测、光流估计、深度估计等。如利用事件的像素直方图、最近时间戳表面(SAE)、插值体素网络将event转换成CNN使用的张量数据,然后采用类似encoder-decoder的架构进行应用(Event-based Vision: A Survey)。

8961474f8fbb857a6ac84f48ca71469f.png

    c)SNN:全称Spiking Neural Networks,是一种脉冲事件的神经网络。它将视觉空间中的一个小区域作为输入事件,不同于CNN的每一次迭代传播都被激活,只有当event的状态超过一定阈值时,才会激活,产生输出。关于SNN,则是另外一个全新的领域,这里不做介绍。

四)关于事件相机的思考

事件相机虽然有很多的特点,但大多还停留在实验室阶段,适合占坑:

  1. 事件相机具有很高的频率(可以达到1000Hz以上),但无论在无人机还是自动驾驶领域,都不需要太高的频率(200Hz足以)。而目前传统相机也有达到200Hz以上,如iphoneX的摄像头频率可达240Hz。

  2. 事件相机可以在检测、目标重建方向发挥更大的作用,但在视频理解、语义分割领域还存在很大的缺陷。另外随着深度学习的发展,利用视频连续帧之间关系,也能够达到类似event的特点,如深度估计或光流估计。

  3. 事件相机适应性较强,在低光照或者高动态环境下信号稳定,可以与传统的相机相结合,即将event sensor集成在普通相机中(如 Dynamic and Active-pixel Vision Sensor,集成了event sensor、普通相机、IMU等),多方优势互补,既能在低光照或者高动态下获得稳定的信号,又能够进行视频理解、语义分割等功能。这种相机可以用在无人机或者无人驾驶领域。

本文仅做学术分享,如有侵权,请联系删文。

3D视觉工坊精品课程官网:3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线!(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建:原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM:基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法:算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼)

13.重磅!四旋翼飞行器:算法与实战

14.ROS2从入门到精通:理论与实战

15.国内首个3D缺陷检测教程:理论、源码与实战

重磅!3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

8277f22503dbbdd4edfaa34881efa599.png

▲长按加微信群或投稿

097038baf2f6ba42e39296f62256dc4a.png

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定激光/视觉SLAM自动驾驶等)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近4000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

4c818f63cd92d5a7e54f75bdb7eda194.png

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值