![](https://img-blog.csdnimg.cn/20200511113007471.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
事件相机理论学习
文章平均质量分 85
记录事件相机理论学习中的一些总结与整理。
larry_dongy
这个作者很懒,什么都没留下…
展开
-
Event-based Camera事件相机资料汇总【2021/12/05更新】
我目前在研究Event-based Camera相关内容,目前国内相关研究较少,希望能和正在做相关研究的朋友多多交流。由于最近时间比较紧,不做细致介绍,仅贴上相关链接。0. 相关链接UZH大学关于event-based camera的主页:http://rpg.ifi.uzh.ch/research_dvs.htmlUZH大学在github的网页:https://github.com/uz...原创 2019-11-10 21:20:10 · 3477 阅读 · 3 评论 -
事件相机标定实践 - 闪烁棋盘格标定
本文首发于微信公众号【事件相机】,原文链接:事件相机标定实践 - 闪烁棋盘格标定最近项目需要,做了下“闪烁棋盘格标定”的实践。本文详细介绍标定方法和注意事项。 一、生成棋盘格视频由于事件相机仅能获取变化的像素,传统的棋盘格静置不动时完全看不到,只有在移动棋盘格时能够看到棋盘格的边界,但这边界不足以用传统方法进行标定。所以一种标定思路就是,生成一段儿闪烁的棋盘格视频,让棋盘格中黑色的方块快速的“消失-出现”,产生“变化”。如下视频:视频可以很简单的用opencv生成。为了更方便自定义,我写了一段儿代转载 2021-12-05 12:27:38 · 1234 阅读 · 7 评论 -
为什么说事件相机是“受生物启发的”?
本文首发于公众号:【事件相机】,为什么说事件相机是“受生物启发的”? 常常在论文中见到一个词,bio-inspired,翻译过来是“受生物启发的”。那究竟为什么说是事件相机是受生物启发的,如何从生物角度解释事件相机的功能?本文做简要介绍。本文涉及过多生物知识,我不是专业的,所以只能解释个大概。如有错误,请批评指正。一、视觉通路视觉通路。图片来源[1]首先人通过眼睛的视网膜将视觉信息编码,经过视交叉后通过大脑中一个称作Lateral geniculate nucleus (LGN)的区域,将视觉信号转载 2021-11-09 09:40:37 · 1014 阅读 · 0 评论 -
事件相机的“140dB”指的到底是什么?
本文首发于公众号:【事件相机】,事件相机的“140dB”指的到底是什么? 我们常常在事件相机的说明书或一些资料中看到这样的描述:“事件相机具有高动态范围,相对于传统相机一般只有70dB,事件相机能够达到140dB或更高”。那么这里的140dB指的是什么?本文进行相应探讨。 信噪比SNR信噪比,Signal to Noise Ratio (SNR),描述传感器所产生的信号与噪声的强度,计算方法是看计算电压还是功率。对于电压信噪比计算,公式为:SNR=10*log(S/N)。其中log为log10,单位转载 2021-10-22 12:48:22 · 4539 阅读 · 0 评论 -
arXiv近期事件相机论文汇总(10.1-10.15)
本文首发于公众号:【事件相机】,arXiv近期事件相机论文汇总(10.1-10.15)由于主要的国际会议总结的差不多了,公众号将不定期汇总近期在arXiv上事件相机的相关工作。提供文章的简单介绍,并作简要评价。 Adversarial Attacks on Spiking Convolutional Networks for Event-based Vision作者:Julian Büchel, Gregor Lenz, Yalun Hu, Sadique Sheik, Martino Sorbar转载 2021-10-22 12:40:27 · 538 阅读 · 0 评论 -
CVPRW2021中的事件相机研究(下)
本文首发于公众号:【事件相机】,CVPRW2021中的事件相机研究(下) CVPR Workshop on Event-based Vision是围绕事件相机的专题研讨会,2021年是第三届由CVPR主办,第一届为ICRA2015,第二届在CVPR2019。目前看来是隔年一次。本次CVPRW涉及论文共14篇,本文介绍下半部分。 Image Reconstruction from Neuromorphic Event Cameras using Laplacian-Prediction and Poi转载 2021-10-03 22:05:25 · 1751 阅读 · 0 评论 -
CVPRW2021中的事件相机研究(上)
本文首发于公众号:【事件相机】,CVPRW2021中的事件相机研究(上) CVPR Workshop on Event-based Vision是围绕事件相机的专题研讨会,2021年是第三届由CVPR主办,第一届为ICRA2015,第二届在CVPR2019。目前看来是隔年一次。本次CVPRW涉及论文共14篇,本文介绍上半部分。 N-ROD: a Neuromorphic Dataset for Synthetic-to-Real Domain Adaptation [1]本文主要研究迁移学习的si转载 2021-09-27 17:15:40 · 1587 阅读 · 2 评论 -
ICRA2021中的事件相机研究
本文首发于公众号:【事件相机】,ICRA2021中的事件相机研究 本文整理ICRA2021年中事件相机的相关研究。采用关键词搜索,可能会有遗漏,欢迎大家补充。除文献[A0]找不到原文外,对其他文章做简要介绍。Combining Events and Frames using Recurrent Asynchronous Multimodal Networks for Monocular Depth Prediction [1]本文提出一种RNN网络实现传统相机和事件相机的单目深度估计。传统相机低频完整转载 2021-09-21 12:12:43 · 1355 阅读 · 2 评论 -
CVPR2021中的事件相机研究
本文首发于公众号:【事件相机】,CVPR2021中的事件相机研究本文整理了CVPR 2021年中关于事件相机的相关工作(从openaccess上关键词查找得到的,可能有遗漏),并作简要介绍。能力有限,难免理解错误或理解理解不到位,毕竟能发CVPR的大佬肯定比我强。重在分享,如有错误和不同见解,请及时提出。谢谢。Spatiotemporal Registration for Event-based Visual Odometry [1]主要贡献:提出了一种新的数据关联方式(Data Associatio转载 2021-09-11 20:14:14 · 2815 阅读 · 2 评论 -
事件相机单目标定的相关研究
传统相机的单目标定只是标定内参(intrinsic)和畸变参数(distortion),标定方法也非常多。这里简单介绍下事件相机标定的相关内容。注意,如果你的事件相机能输出灰度图,例如DAVIS或ATIS,则完全可以采用传统方法标定。本文仅讨论纯事件如何进行标定。(本文仅用于科研交流,如有侵权请联系删除)需要标什么?首先要明确,事件相机标定,需要标什么?当然最重要的还是内参和畸变,除此之外,我见过的标定还有:时间戳的固定偏差、像素级对比度阈值(Biased Contrast Threshold)等。下面转载 2021-09-05 10:46:28 · 1010 阅读 · 0 评论 -
事件相机与传统相机融合的相关研究
本文首发于公众号:【事件相机】,事件相机与传统相机融合的相关学术研究介绍前言多传感器数据融合理论指出,所要融合的传感器数据应该具有互补性与差异性,否则融合没有太多意义。事件相机与传统相机的数据特性不同,不少研究是关于二者融合。本文介绍事件相机与传统相机融合的相关研究,主要内容来自本人毕设时的调研,并稍作补充。在写毕设时,基本上覆盖了当时具有代表性的研究。 早期研究阶段在2016年以前,事件相机由于无法独立完成某一特定任务,常常与传统相机共同完成任务[1, 2]。(多说一句,至于我为啥以2016年转载 2021-08-29 23:37:23 · 1994 阅读 · 0 评论 -
事件相机与传统相机、高速相机、激光雷达等比较
本文首发于公众号:【事件相机】,事件相机与其他常见传感器的比较 经常被问起,事件相机和xxx相比有什么优势?本文整理一些我被问过的传感器和事件相机的异同,当然这些更多的是自己的主观看法,如有错误欢迎大家指出,也欢迎大家积极讨论。事件相机事件相机具有低延迟、高动态范围(HDR)、无运动模糊、极低功耗、数据带宽低等优点,缺点(或者可以叫做特性)也很明显:数据异步不易处理、单一事件有效信息少、数据稀疏不完整等。这里不展开介绍。普通相机普通相机是和事件相机对比最多的传感器,没有之一。优点:图像完转载 2021-08-21 11:36:14 · 3012 阅读 · 0 评论 -
v2e论文中对事件的不理想成因的分析
今日读了论文"v2e: From Video Frames to Realistic DVS Events",讲的是从video生成event,文中详细分析了event生成过程中一些不理想的情况,指出现有的仿真方法(ESIM和VID2E)都仅考虑了噪声和对比度,缺少其他考虑。作者有Tobi Delbruck,可见越是大佬的组,研究的内容就越是基础。事件成因事件成因简单总结,当光照时,photodiode产生电流Ip,对应的电容Cpd相当于放电,在C左侧产生电压Vp,经过放大器后Vd,与参考电压比较,生成原创 2021-07-21 21:09:50 · 849 阅读 · 0 评论 -
事件相机数据表示方式整理(持续更新)
本文仅用于记录自己在学习过程中遇到的关于事件相机数据的表示方式(Event Representation),转载请注明出处。早些时候,在看论文时,数据的表示形式无非那么几种,但慢慢地发现在不同任务上,数据表示的方式变得越来越多,在此做一下整理,以后说不定在为了解决某个任务时能够有所启发,同时欢迎其他朋友进行补充方法或采用该方法的论文,可以在评论区给出论文名和方法简介,我会抽时间阅读后加到正文中并感谢。(目前整理的数量较少,故不作分类) 1. spatio-temporal voxel grid最先原创 2021-05-18 10:37:07 · 2369 阅读 · 0 评论 -
EVO:第一篇事件相机实时SLAM的论文
本文完整介绍了 EVO: A Geometric Approach to Event-Based 6-DOF Parallel Tracking and Mapping in Real Time 这篇论文的内容。主要用于个人记录,转载请注明出处。 前言搞事件相机SLAM的同学应该对EVO这个研究并不陌生。在我看来,这篇17年的工作,与16年 kim [2] 的工作,意味着只依靠Event Camera就能够实现SLAM,而不需要其他sensor的辅助(例如初始化)。而 kim [2] 的这个工作,采原创 2020-11-17 11:39:25 · 2667 阅读 · 6 评论 -
2020年,关于事件相机(event camera)的最新研究论文总结
本文仅用于学习过程中的一些总结记录。2020年发表的关于事件相机在SLAM相关方向(特征提取、深度估计、建图等)的论文。 1. 运动估计 Motion Estimation有不少关于运动估计的论文,基本是围绕之前最大化事件积累图对比度的方式进行。最小化Entropy[1] 采用最小化熵函数的方式,对运动参数进行估计。文章指出最大的优点是,这种方法不需要将空间中的事件投影到平面上去最大化对比度。然而数学内容太复杂真的看不懂。全局最优解计算[2] [3] 两篇论文,都是解决运动参数估计时陷入原创 2020-11-16 22:14:36 · 3513 阅读 · 5 评论 -
事件相机中的脉冲神经网络
最近了解了一下脉冲神经网络(Spiking Netrual Network, SNN)在Event Camera中的一些应用。在此稍作整理。由于本人对神经网络了解不多,难免存在理解错误,欢迎大家积极指正。转载请注明出处 1. 脉冲神经网络脉冲神经网络是1997年[1]提出的一种人工神经网络(Artificial NN, ANN),受生物领域研究的启发,神经网络由多层、每层多个神经元相连。为与CNN(卷积神经网络)等其他ANN进行区分,采用“突触(synaptic)”这个词进行表示。突触由一个前突原创 2020-10-04 21:03:47 · 3755 阅读 · 2 评论 -
Event-based Stereo Visual Odometry(双目事件相机里程计)论文学习
本文详细介绍一篇双目事件相机里程计的论文,Event-based Stereo Visual Odometry,港科大沈邵劼团队Yi Zhou和TU Berlin的Guillermo Gallego共同完成,并公布了代码。我准备在接下来一段儿时间认真研究一下这篇论文与代码,欢迎想深入研究这个方法的朋友与我交流。转载请注明出处论文下载:arXiv, https://arxiv.org/abs/2007.15548github代码:https://github.com/HKUST-Aerial-Roboti原创 2020-09-28 19:20:32 · 3620 阅读 · 1 评论 -
EMVS: Event-Based Multi-View Stereo 论文详细分析
本文详细记录了EMVS这篇论文的一些细节。主要用于个人记录,转载请注明出处。0. 前言本人近期准备深入研究这个算法,并尝试做相应改进,所以总结了此文,梳理自己的思路。本文并没有把论文分析的很完整,不适合完全没有了解过EMVS的人阅读。如果你准备深入研究这个方法,有自己的想法,欢迎和我交流:jfjxxdy2007@126.com同时指出,本文主要围绕ETH于2018年在IJCV发表的 “EMVS: Event-Based Multi-View Stereo—3D Reconstruction with原创 2020-09-03 22:17:20 · 2511 阅读 · 2 评论 -
【事件相机2020】CVPR2020中关于事件相机的研究
RPG维护的github的文章许多也没有及时补充,所以只能自己去搜。最近简单翻看了CVPR2020中,关于事件相机研究的几篇论文。在此做一下简单总结。由于涉及方向较多,许多文章不太能看懂,所以只是泛读,了解最新的研究在做什么。本文仅用作个人总结,不保证理解的正确性。转载请注明出处。 0. 下载地址直接从CVPR2020的Open Access中进行下载:https://openaccess.thecvf.com/CVPR2020我上传了网盘,可以下载:链接: https://pan.baid转载 2020-07-24 11:21:56 · 2672 阅读 · 0 评论 -
【事件相机整理】信号处理、噪声与滤波
本文仅用于自己学习整理,不保证内容的完整性和准确性,仅供其他朋友参考。转载请注明出处。噪声和信号处理是比较低层次的一种处理,但也非常重要。近日学习了一些信号处理与噪声处理的论文,做以下梳理。1. 灰度数据的信号处理总所周知,许多事件相机提供多种数据格式,包括传统图像输出,以及事件流。那么在事件相机的信号处理上,也分为:灰度图像上的信号处理,以及事件的噪声处理。一般而言,在对事件数据进行处理的...原创 2020-05-22 11:29:11 · 6063 阅读 · 13 评论 -
【事件相机整理】硬件介绍、参数与性能指标
本文仅用于自己学习整理,不保证内容的完整性和准确性,仅供其他朋友参考。转载请注明出处。1. 总线与感光器件1.1 总线:AERAER 全称 Address-Event-Representation,是一种在生物启发芯片之间传输脉冲信号的通信协议。用于传输事件数据。Standard address event representation (AER) protocol. The addre...原创 2020-05-06 16:10:13 · 6384 阅读 · 2 评论 -
【事件相机整理】角点检测与跟踪总结
本文仅用于自己学习整理,不保证内容的完整性和准确性,仅供其他朋友参考。转载请注明出处。前言角点检测与跟踪,是特征提取与跟踪(Feature tracking)下研究较多的内容。相对其他上层任务来说(物体分类、SLAM等),是一个较为底层的工作。但也有着较多的研究。在这里做一些总结,会不断进行补充。1、角点检测与跟踪的分类文献【1】将特征检测进行了一些归类。第一类是利用事件流数据,寻找某种模板,实现检测与跟踪,例如寻找在颗粒检测时(particle detection)多采用聚集的事件,我认为这是一原创 2020-05-09 20:03:54 · 6059 阅读 · 2 评论 -
事件相机Harris与FAST角点检测
本文转载自此微信推送,作者即博主。事件相机角点检测,从原理到demo转载 2020-03-08 23:01:04 · 628 阅读 · 0 评论 -
事件相机的数据集与仿真器
本文转载自此微信推送,作者即博主0、为什么需要数据集与仿真器?在研究中,为了比较不同算法的优劣,研究人员不能用自己采集的数据,这样和别的方法比较没有太大的意义。所以公开的数据集是评价这些方法的通用数据。而仿真器,是按照事件相机的成像原理,模拟其生成数据的样子,可以便于使用者采集自己想要的数据。当然最重要的一点,是事件相机目前价格较高,许多人无法像买USB相机这样随性购买。下面我们简单看几家公...转载 2020-03-08 22:55:49 · 2993 阅读 · 0 评论 -
事件相机简要介绍
本文转载自微信推送,作者即博主。0、前言事件相机是一款新型传感器。不同于传统相机拍摄一幅完整的图像,事件相机拍摄的是“事件”,可以简单理解为“像素亮度的变化”,即事件相机输出的是像素亮度的变化情况。事件相机英文名为:Event-based Camera,或简称为Event Camera,缩写为EB。有时也称作DVS(Dynamic Vision Sensor “动态视觉传感器”)、DAVIS...转载 2020-03-08 22:52:29 · 5482 阅读 · 0 评论 -
生产事件相机的主要商业公司介绍
事件相机现在主要的研究企业有:samsung, inivation, prophesee, celepixel等。这篇博客的介绍和图片主要来自于CVPR2019的workshop(CVPR 2019 Second International Workshop on Event-based Vision and Smart Cameras)0. 参考资料CVPR2019 Workshop: ht...原创 2019-11-19 13:11:00 · 5627 阅读 · 1 评论