类脑传感器：动态视觉相机（Dynamic Vision Sensor）和动态音频传感器（Dynamic Audio Sensor）

最新推荐文章于 2024-09-18 16:21:59 发布
最新推荐文章于 2024-09-18 16:21:59 发布
阅读量4k 收藏 21
点赞数 5
分类专栏： 脉冲神经网络 人工智能 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yannan_strath/article/details/126799956
版权

动态视觉相机

一点点发展史

动态视觉相机 Dynamic Vision Sensor（DVS）,有时候也称作事件相机（Event camera）或者硅视网膜（Silicon Retina）。 提到DVS的起源就要追溯到它的发明者Misha Mahowald。 Misha师从类脑工程领域的提出者Caver mead大神(Carver mead 同时还是是VLSI电路设计的大牛级别人物， 同时还被认为是摩尔定律的命名者)， 在博士期间她和Tobi Delbruck创举性的结合生物学计算机科学和电气工程领域创建了第一个硅视网膜系统。这也是最早的动态视觉相机的原型。之后她和Tobi Delbruck还有几位现在的类脑技术大牛们一起将技术带到了在苏黎世并和苏黎世联邦理工大学、苏黎世大学联合创办了INI神经信息研究所(Institute of Neuroinformatics)， 专注于研究神经科学， 神经形态相关的技术， 其中硅视网膜就是其中重要的一项技术， 并于1996年Misha因为这一非凡的工程案例成为国际科技女性（WITI）名人堂成员， 遗憾的是Misha在33岁结束了自己年轻的生命。
在这里插入图片描述
但是硅电子视网膜的技术的发展并没有因为Misha的离开而停滞， 反而经过10几年的发展到现在变得更加成熟。 从INI出来的初创公司inivation已经将DVS变成成熟的产品，不仅整个传感器集成了仿生的事件像素阵列， 还在外围同步集成了如RGB相机， IMU传感器，帮助其实现更强大的信息同步和收集能力。 另一个具有强劲实力的初创公司Prophesee提供高分辨率的动态视觉传感器， 并和sony合作将最先进的光学电子工艺和dvs结合， 大大的减小了芯片面积和光学性能。此外， 还有一系列的高科技初创公司正在蓄力待发， 同时在应用算法层面， 也有越来越多的科研学者和工程师专家已经把事件相机信号应用在各行各业中。
在这里插入图片描述
图： Inivation生产的动态视觉相机

在这里插入图片描述
图： Sony即将投产的事件相机传感器芯片

动态视觉传感

那么什么是DVS呢， 用通俗易懂的话来讲就是：“它只对运动的目标成像。”

从工作原理上来讲， DVS最大的特点是–异步感知。我们拿传统的数字相机来对比：

对于传统相机来说， 它的每个感光原件会根据一定的采样率对整个感光阵列进行同步的采样， 所以每次成像它需要依赖于一个时钟信号当作reference。 以这样的形式我们就得到了一个对光电流信号采样的真实值的阵列，假设说我们有100x100大小的一个像素阵列，RGB三个采样通道和1/30秒的采样率的话， 我们每秒就会得到 100x100x30x3这么大的数组， 其中100x100x3就是我们常说的一帧图片。

区别来了， 对于同样100x100的像素阵列来说， DVS里的每个像素的工作是相互独立、互不干涉的。也就是说每个感光像素都只对自己所负责的一部分区域进行独立感光。 同时， 每个感光像素都不再直接采样实值， 而是时时刻刻去比较光电流的相对变化值是否超过了一个阈值。相对应来说， 光照强度的变化其实对应着光电流的大小变化， 其实DVS上的每一个像素位置是在感受相对光照强度的变化是否明显。当在对应像素上感受到足够的光强变化时， 传感器就会发出一个“事件信号”， 通常来说这个信号是一个数据包包含着下面的信息

  • 像素的坐标地址 （x, y）
  • 光照强度变化的极性
  • 事件发生的时间戳

如下图所示， 假设我们同时用DVS（图下方）和传统相机（图上方）对这个转动的圆盘成像， 我们就可以清晰的看出区别。传统相机的成像基于采样率所以会丢失掉帧和帧之间的信息， 圆盘上黑点的运动是离散的体现在每一帧图像的不同位置上的， 而当圆盘停止转动的时候， 传统相机依旧会按照采样率对静态的圆盘成像。

而对DVS而言， 只有光照强度变化的像素区域才会发出事件信号， 同时又没有采样率的限制， 我们得到的数据输出在圆盘转动的情况下可以看到的是一串连续的事件流。而在圆盘停止转动的时候因为无光强明显变化， DVS相机是没有任何信号的生成的。所以对于DVS来说， 它的输出脱离了采样率对于不同的场景来说是完全不一样的。 对于大体积、高速运动物体的成像可能是很多的， 但是对于如静止的背景，可以说是完全不产生数据。
在这里插入图片描述
图：传统相机VS事件相机

如下图所示，为简单的一个DVS像素的工作原理。 因为博主对IC电路并不精通所以就不强行分析了。 但是是可以看出整个pipeline里由几个功能模块组成， 前端的感光元件， log域计算， 差分放大， 和比较器。 其中当光强的log值在向较大方向变化时我们得到极性为ON的事件反之我们得到OFF事件。

在这里插入图片描述
图： DVS像素工作原理

那么DVS对于视觉传感来说能带来什么优势呢？

  • 高动态范围
    懂摄像的盆友应该知道， 当你拍摄的图像在光线上有巨大的差异时，更大的动态范围就能获得更大的影调空间——例如一个有明亮窗户和昏暗内部的地点。来自窗户的光线比墙壁内部的光线要亮得多，如果动态范围不够大，这时要么窗户的光线太亮，曝光过度（看起来是白色的），要么墙壁太暗，曝光不足（看起来是黑色的）。 DVS的成像因为取决于光强的相对变化值， 这使它在过曝光和欠曝光的状态下也能稳定清晰的成像。一个DVS的理论动态范围约为120dB。而人眼的动态范围大概只在30-40dB左右。
    在这里插入图片描述
    图： 事件相机在暗光中的成像

  • 克服成像的运动模糊
    因为DVS突破了传统相机中的采样率， 那么对于运动的物体的成像也就不再有帧率的限制。 动态模糊本质的产生原因是相机成像帧率和物体运动的速度不匹配， DVS产生的连续的事件流在理论上可以等效为4000-5000FPS成像速度。目前大部分的DVS相机都可以做到us级的成像延迟， 而对于一个传统30FPS的相机来说他的延时约为33ms。
    在这里插入图片描述
    图：事件相机的高速成像

  • 超低功耗

因为DVS的异步感知和只感知光照的变化强度的关系， DVS在大部分典型视觉场景下产生的数据是极为稀疏的， 大多数事件相机的功耗都在10mW的级别， 有部分原型相机的功耗甚至可以做到小于10uW， 这个数字远远低于传统数字相机（百毫瓦级）。

在这里插入图片描述
图: 传感器间对比（摘自维基百科)

动态音频传感器（Dynamic Audio Sensor）

动态音频传感器DAS又称硅耳蜗（silcon cochlear），他的功能是把各种现实生活中的声音信号变成事件信号。和DVS一样， DAS的本身原理也是通过电路设计将信号转换为异步的事件信号。 它的发明者Shih-Chii Liu也出自上文提到的大明鼎鼎的神经信息研究所INI，这个发明也带领着事件驱动传感迈向了更广阔的音频信号处理领域。Shih-Chii也因此研究获得了 Misha Mahowald Prizes（没错， 就是为了纪念Misha在类脑领域的贡献设置的奖项）。

在这里插入图片描述
图： DAS的功能模块

DAS实现的是在电路层面上模仿生物听觉系统的功能， 也就是从真实视觉声音激励变成电脉冲信号的过程。按博主的理解： 听觉电信号的产生是因为分布在耳蜗中的内绒毛器官可以对不同强度和频率的震动产生规则的电信号，这一现象称为频率拓扑。 这就很像现代数字信号处理里对声音的时频谱分析。而在DAS里， 这一过程被工程化为符合频带范围的若干个带通滤波器组和半波整流器， 加上一系列电路设计和信号处理必要的模块， 我们就可以实现声音信号到脉冲信号的转换。

和DVS一样， DAS的输出数据也是事件流信号的，其反应的应是一个通道内的信号能量变化强度是否超过了阈值，一个事件数据包会包含：

  • 发出事件的通道
  • 极性
  • 时间戳

以Shih-Chii的工作为例， DAS有双声道输入， 64个通道（每个声道apply32个band pass filter）， 两个声道的信号相互在事件上匹配， 片上有数控偏置和片上麦克风， 并且可以直接提供AER接口到类脑芯片上。而整体功耗只有18-26mW。

在这里插入图片描述
图： DAS的响应-- 语句”The quick red fox jumped over the lazy dog“

类脑传感器的应用

其实除了视觉和声音这两类信号，事件驱动传感也在各个其他信号的领域被证实其可行性和高效， 例如IMU，EEG, ECG信号等。 那么对于这些新型传感器有哪些应用呢？

以DVS为例， 科研学者们已经展示出了其巨大的应用前景。

  • 比如使用DVS的信息和当前低帧率的RGB相机的信息融合， 我们可以重建出一个可以输出超高帧率的低成本相机系统（去模糊）。
    在这里插入图片描述
    图： DVS去模糊

  • 应用事件相机实现无人机的高速避障

在这里插入图片描述
图： 无人机高速躲避

  • 一些自动驾驶， 机器人应用场景下的复杂任务比如SLAM, 目标识别, 光流估计等。
    在这里插入图片描述
    图： DVS光流估计

  • 甚至搭配天文望远镜看看月球~
    在这里插入图片描述
    图： DVS在天文任务中的应用

对于DAS而言， 配合着相应的后端神经网络算法， 我们可以做到低功耗的各类语音任务例如：

  • 声源定位， 通过双声道直接产生的相位差估计声源的方向和位置
  • 声纹识别， 判断发出音频的个体
    在这里插入图片描述
    图： Speaker Verification

最后

这里不得不回到类脑技术这个大范畴的名词。 作为整个计算的最前沿：传感效率的高低和传感信号和后端计算模式的匹配程度必然影响着整个智能系统的表现。 类脑技术的完全体 = 事件驱动传感 + 异步类脑芯片计算配合着高效利用异步机制的算法。 而脉冲神经网络的异步运算机制和这些放生传感器天然契合， 我们已经可以看到一些初创公司使用类脑技术实现了mW级别的感算一体智能芯片， 相信在不远的将来， 我们就可以看到这些新兴的传感技术和计算技术在我们身边。

Reference:

[1] https://en.wikipedia.org/wiki/Event_camera
[2] https://spectrum.ieee.org/prophesees-eventbased-camera-reaches-high-resolution
[3] https://inilabs.com/products/dynamic-audio-sensor/
[4] https://www.youtube.com/watch?v=Ik0-1yjERCw
[5] https://inivation.com/buy/
[6] https://zhuanlan.zhihu.com/p/530995025

Misha Neuromorphic Award: https://www.mahowaldprize.org/
苏黎世神经信息研究所： http://www.ini.uzh.ch/

Yannan_Strath
关注
专栏目录
DAVIS346动态视觉传感器
weixin_42493243的博客
04-11 754
iniVation是基于事件的动态视觉传感器（DVS）技术的市场领导者，宣布推出了具有USB3.0接口的下一代DAVIS346传感器。与以前的产品相比，它的分辨率提高了一倍多，并且体积缩小了30%，具有很强的鲁棒性。这些方面的提高使工业视觉应用中的细节运动和解决方案能够获得更加精细分辨率。 iniVation DVS产品系列是基于事件的视觉最完整的解决方案。iniVation传感器具有多种分辨率和尺寸，并能与领先的基于事件的开源软件库相结合。所有iniVation DVS产品都具有前所未有的性能特性组
vrep中视觉传感器（Vision sensor）
a1233219的博客
07-05 3057
Vision sensors分为正交投影型（Orthographic projection-type）和透视投影型（Perspective projection-type）
事件相机的原理与应用简介
我爱计算机视觉
03-06 1849
关注公众号，发现CV技术之美本文转自空中机器人前沿，作者西湖大学-郑业。一．概述事件相机（Event-based camera）是一种受生物启发的新型视觉传感器，有时也称动态视觉传感器（DVS，dynamic vision sensor）或DAVIS（Dynamic and Active-Pixel Vision Sensor）。相比于以固定帧率采集图像的标准相机，它具有低延迟、高动态范围、低功耗...
【事件相机之二 去噪文章研读】 Low Cost and Latency Event Camera Background Activity Denoising
最新发布
weixin_40316129的博客
09-18 137
基于事件的神经形态相机（“硅视网膜”）的灵感来自生物眼睛的非凡能力。近30年前的第一批设计已经成熟到现在有商用活动相机的阶段。活动摄像机有各种类型[3]，但所有商业类型都使用动态视觉传感器（DVS）像素检测亮度变化。DVS摄像头输出是二进制签名的ON和OFF亮度变化事件流。事件表示对数强度因临界阈值时间对比度而变化。DVS的高动态范围和稀疏的亚毫秒输出使其能够在光线不足的情况下快速响应[3]。事件相机的输出包括各种类型的噪声，包括事件抖动和量化噪声。这里我们关注的是背景活动（BA）噪声。
DHP19: Dynamic Vision Sensor 3D Human Pose Dataset论文笔记
m0_51897038的博客
11-11 2485
一.概述 本片论文主要提出了一个时间相机的3D人体姿态的数据集，可用于做人体姿态估计 数据集地址：https://sites.google.com/view/dhp19/user-guide 该数据集使用4个不同位置的事件相机，每个不同位置的事件相机的输出均被记录，同时使用运动捕捉系统得到人体运动的真实姿态。3D 坐标是从 Vicon 中提取的，而 2D 坐标是手动标记的。 3D 坐标是从 Vicon 中提取的，而 2D 坐标是手动标记的。 3D 坐标是从 Vicon 摄像机中提取的，而 2D..
打破常规CMOS，芯仑欲用动态视觉传感器掀起自动驾驶新浪潮
weixin_34162629的博客
12-05 352
传统摄像头正朝着更高帧率、更大分辨率的方向发展，多传感器融合也被行业定义为自动驾驶实现的必经之路，这带来的是越来越大的数据量。多数软件芯片公司还在寻找如何快速准确处理大量数据的最佳方式，而芯仑科技却将精力放在机器视觉的数据之源——前端摄像头。 11月28日，芯仑科技创始人兼首席科学家陈守顺教授出席合肥高新区举办2018全球物联网创新峰会，进行了关于...
V-rep 视觉传感器属性Vision sensor properties
qq_39243015的博客
12-06 1777
视觉传感器属性是场景对象属性对话框的一部分，该对话框位于[Menu bar --> Tools --> Scene object properties]。 您也可以通过双击场景层次结构中的对象图标或单击其工具栏按钮来打开对话框： 在场景对象属性对话框中，单击“视觉传感器”按钮以显示视觉传感器对话框（“视觉传感器”按钮仅在最后选择的是视觉传感器时出现）。 该对话框显示最后选择的视觉传感...
CVPR2018下载+CVPR2018论文百度云+2018CVPR论文下载+2018CVPR百度云
王博（Kings）的博客
06-25 4953
链接：https://pan.baidu.com/s/1QUXtDp5RQVNx-R55TkL13Q 提取码：
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7256
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
dvs_reconstruction:从基于事件的相机（动态视觉传感器）计算完整图像
06-02
dvs_reconstruction 从基于事件的相机（动态视觉传感器）计算完整图像
跟踪-用于异步感知的结构化日志，错误处理，指标等的应用程序级别跟踪框架-Rust开发
05-27
跟踪Rust的应用程序级跟踪。 网站| 聊天| 文档（主分支）概述跟踪是用于检测Rust进程跟踪的框架，用于Rust的应用程序级跟踪。 网站| 聊天| 文档（主分支）概述跟踪是一个框架，用于检测Rust程序以收集结构化的，基于事件的诊断信息。 跟踪由Tokio项目维护，但不需要使用tokio运行时。 用法（下面的示例是从日志箱的yak-shaving示例中借用的，已修改为惯用的跟踪。）在Applications中为了记录跟踪事件，可执行文件ha
视觉相关的(在线online)书籍汇总【…
胖大星的博客
08-05 3223
今天搜书的时候突然在电驴上搜到的，无心插柳，看起来我还是知道的太少了...... CVonline: Vision Related Books including Online Books and Book Support Sites We have tried to list all recent books that we know about that are relevant t
动态视觉传感器介绍有关网站
嗑盐工作室
12-31 921
http://www.shujubang.com/Htmls/NewsInfo/57/NewsInfo_17286.html https://baijiahao.baidu.com/s?id=1627153692579016661&wfr=spider&for=pc https://www.wulianwangiot.com/chuanganqi/1133.html
Event Camera动态视觉传感器，让无人机用相机低成本进行导航
weixin_33979363的博客
11-01 920
几年前，苏黎世大学的Davide Scaramuzza实验室为我们带来了一种动态视觉传感器——Event Camera。Event camera与普通照相机有很大的差别，它对于小巧迅捷的机器人是十分理想的，尤其当你更考虑减小碰撞的几率而非清晰拍摄事物的时候。 在提交给Robotics and Automation Letters的一篇论文中，Timo ...
史上最全事件相机DVS/Event-based Camera的介绍和分析综述文章
是否龍磊磊真的一无所有的博客
12-13 1万+
事件相机DVS（Dynamic Vision Sensor），该相机具有更宽的动态范围，输出较传统相机而言更稀疏、更快。一种快匹配自适应光流算法和完全通过FPGA完成的基于DVS相机的硬件实现与其功耗和计算速度方面的优势，最后介绍了该项研究在自动驾驶领域的广阔应用前景。
dvs-ros
俯瞰这世界有多美的博客
03-30 449
安装前先要升级cmake 2.8.12以上（我的是2.8.11） sudo sh -c 'echo "deb http://packages.ros.org/ros/ubuntu $(lsb_release -sc) main" > /etc/apt/sources.list.d/ros-latest.list' sudo apt-key adv --keyserver hkp:...
百万级别的事件流数据集:ES-ImageNet （仿DVS相机原理生成的仿真数据集）
qq_42968558的博客
12-07 3815
ES-ImageNet: A Million Event-Stream Classification Dataset for Spiking Neural Networks （博主是本文作者之一） 文章 ： https://www.frontiersin.org/articles/10.3389/fnins.2021.726582/full 代码： https://github.com/lyh983012/ES-imagenet-master 数据集下载：下载链接 这里介绍一下这篇文章。本文的写作的动机是：
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值