论文阅读 | Event Transformer. A sparse-aware solution for efficient event data processing

已于 2023-10-08 18:20:21 修改
阅读量559 收藏 2
点赞数 1
分类专栏： 论文阅读 文章标签： 机器学习 人工智能 论文阅读 深度学习 神经网络
于 2023-04-14 11:09:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettii/article/details/130146881
版权
文章介绍了EventTransformer(EvT)方法，该方法针对事件相机的数据处理，通过将voxel图片分块并仅处理含足够事件的区域，以及使用基于注意力机制的紧凑Transformer骨干网络，有效利用事件的稀疏特性，同时在性能上取得最佳效果。实验涉及分类任务，展示了模型在长距离和短距离分类上的效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言： CVPR 2022 workshop 用transformer提取事件特征

Event Transformer. A sparse-aware solution for efficient event data processing

引言

从事件相机中提取信息目前已有的比较好的方法可以分为：效果最好的方法是frame-based，用卷积神经网络或循环神经网络，其次是利用图卷积、点卷积、脉冲神经网络等方法来更好的利用事件的稀疏性质

我们的方法Event Transformer (EvT)解决了事件的稀疏特性，同时还取得了最好的效果
我们的创新点在于
第一：通过将voxel图片打成patch，只计算有着足够数量点的patch
第二：提出一种 a compact transformer-like backbone based on attention mechanisms，其中latent memory vectors只需要最小的计算资源

方法

EvT的处理流程如下，最后的任务是做分类
在这里插入图片描述
首先将事件转换成在这里插入图片描述
的voxel图片，B代表timebins个数，2代表2极性，voxel中存的是落到一个单位cell的事件数量，然后对voxel作取对数处理，来平衡掉某些cell的数量极端（大）的情况

在这里插入图片描述
然后这样的一个voxel F’在空间上被分成不同的patch,patch的空间尺寸是P * P，当一个patch中的点的数量大于百分之m，则被视为激活patch，最后没有被激活的patch就被丢弃，然后设置一个阈值n,如果patch中的点仍然小于这个阈值，则加宽时间窗e time-window，使得处理更多的点，然后重新计算激活patch
最后，一个patch的尺寸 (P,P, B,2）将特征展平为(P ×P × B × 2)=input_dim,则看成 T ×dim 的向量 ，

网络的backbone如下
输入的尺寸是 （T，dim) ,latent memory vectors尺寸是（M,dim）
在这里插入图片描述
首先将输入进行特征映射到高维（T，dim)变成（T，D)，FF1 则只有一个初始的FF，concat position embedding 和一个FF，FF2则是有两层feed forward,加上一个跳跃连接

主干网络
主干网络是由一个cross-Attention 和N个 Self-Attention构成，先进行cross-transformer,然后进行self-transformer
即T × D 与M ×D 做attention，得到新的向量 M ×D，新的向量M×D自己与自己作attention（N次），得到新的M ×D作输出同时更新memory
更新memory:直接相加
（当然这里图中和文中都没有提到的是，它是一个循环网络，即在每个不同的时间窗口进行图示的第二部分backbone processing，因此memory可以记录之前时刻的信息）
吐槽一下发布的代码，所说训练测试代码都有，但超参数文件没给啊！！连网络结构都写到超参数文件里去了啊啊啊可恶！！看了一个下午研究某个输入变量到底指的啥，发现还不如手敲来得快…

实验

由于是作分类，这里直接将最终的latent vector 过两层MLP然后average pooling
实验超参数设置：
patch尺寸：6 × 6
百分比阈值m ： 7.5（做了log之后）
最小点阈值n : 16
时间窗：特定数据集不同
timebins：特定数据集不同
特征维D：128
latent vector长度M：96
初始化latent vector:均值0方差0.2的正态分布
位置编码：16维傅里叶
注意力头：position token1或 2，其他是4

训练参数：
略

结果
长距离分类
在这里插入图片描述
在这里插入图片描述
短距离分类
在这里插入图片描述
效率比较
在这里插入图片描述

总结

结合了循环神经网络的transformer，应该在NLP中比较常见，但没怎么在视觉任务中见到过

（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3498
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
eventful-transformers
whaosoft143ai的博客
10-02 132
不同于一个输入就是一个完整序列的语言处理 Transformer，在这里，研究者的做法是随时间为 Transformer 提供多个不同的输入（帧或视频片段）。在针对各个 token 的运算 Transformer 模块中，很多运算都是针对各个 token 的，也就是说它们不涉及到 token 之间的信息交换，其中包括 MLP 和 MSA 中的线性变换。研究者也进行了实验论证，结果表明 Eventful Transformer 可用于现有的当前最佳模型，在极大降低它们的计算成本的同时还能维持其原有的准确度。
【事件相机与计算机视觉】论文阅读02--GET: Group Event Transformer for Event-Based Vision
weixin_46564784的博客
12-06 1289
本论文根据时间戳和事件极性对异步事件进行分组得到一种新的事件表示方法Group Token（GT），GET用事件双重自注意力模块（EDSA）和组令牌聚合模块（GTA）来促进空间和时间极性域中的有效特征通信和集成，之后，GET通过与各种头连接来与不同的下游任务集成。在四个基于事件的分类数据集（Cifar10-DVS、N-MNIST、N-CARS 和 DVS128Gesture）和两个基于事件的对象检测数据集（1Mpx 和 Gen1）上评估GET方法。
【时序】应用于时间序列的 Transformer 综述论文笔记
全性保真，不以物累形。
04-03 1万+
论文作者：阿里巴巴达摩院，论文年份：2022。
Transformer 多模态
weixin_42668508的博客
03-18 5936
Multimodal Transformer for Unaligned Multimodal Language Sequences 摘要： 人类语言往往是多模态的，包括自然语言，表情以及声学行为。但对时间语言序列进行多模态建模存在以下两个主要挑战： 1.不同模态的数据在时间上是不对齐的，这里不对齐一是采样率不同，二是不同模态数据采集的起始时间未必对齐 2.不同模态之间的长期依赖问题 文章提出了Multimodal Transformer(MulT)来解决上述问题。 模型分析： 整体结构如下图
计算机视觉论文-2021-09-07
中科院AI算法工程师的博客
09-07 3242
本专栏是计算机视觉方向论文收集积累，时间：2021年9月7日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Towards Expressive Communication with Internet Memes: A New Multimodal Conversation Dataset and Benchmark AUTHORS: Zh...
计算机视觉论文-2021-06-22
中科院AI算法工程师的博客
06-23 3500
本专栏是计算机视觉方向论文收集积累，时间：2021年6月22日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:One Million Scenes for Autonomous Driving: ONCE Dataset AUTHORS: JIAGENG MAO et. al. CATEGORY: cs.CV [cs.CV] HIGHLIG...
计算机视觉论文-2021-12-01
中科院AI算法工程师的博客
12-02 5354
本专栏是计算机视觉方向论文收集积累，时间：2021年12月1日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 标题：EA GAN ：一种高效的两阶段进化结构搜索算法 作者：应国浩；贺新；高斌；韩波；储小文 类别： cs.简历 [cs.简历LG， cs.NE]突出：为了缓解不稳定的问题，我们提出了一个有效的两阶段进化算法（ EA ）基于 NAS 框架来发现 ...
计算机视觉论文-2021-06-08
中科院AI算法工程师的博客
06-09 4094
本专栏是计算机视觉方向论文收集积累，时间：2021年6月4日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:End-to-End Neuro-Symbolic Architecture for Image-to-Image Reasoning Tasks AUTHORS: Ananye Agarwal ; Pradeep Shenoy ; ...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
飞桨（PaddlePaddle）在机器学习全流程（数据采集、处理、标注、建模、分析、优化）
最新发布
Yulay专栏
05-23 810
飞桨通过全流程工具链和中文生态优势，尤其适合国内政务、金融、教育等领域的落地场景，同时提供从数据到部署的一站式解决方案，降低企业级AI开发门槛。
机器学习AI精准预测复合材料性能、材料结构设计优化；数据驱动加速新材料研发，百年难遇的组合打破科研壁垒！
cuiliuyun的博客
05-22 400
人工智能与复合材料技术的融合正推动该领域快速发展。机器学习在复合材料研究中展现出巨大潜力，主要应用于材料设计优化、制造过程控制、性能预测与模拟、缺陷检测、寿命预测与健康管理以及数据驱动的材料发现等方面。具体技术包括线性回归、决策树、随机森林、支持向量机、神经网络等，这些方法在预测复合材料性能、优化材料结构等方面取得显著成果。此外，深度学习模型如多层感知机、卷积神经网络和物理信息神经网络也在复合材料研究中得到应用，为材料性能预测和结构优化提供了新的解决方案。这些技术的应用不仅提高了复合材料研究的效率和精度
人工智能、机器学习与深度学习：概念解析与内在联系
weixin_62200515的博客
05-19 1417
人工智能、机器学习与深度学习是一脉相承的技术体系，体现了人类对机器智能从抽象概念到具体实现的探索历程。人工智能提供宏观目标，机器学习定义实现路径，深度学习则是当前最具突破性的技术分支。 未来，三者的融合将推动人工智能向更通用、更智能、更可靠的方向发展，同时也需关注技术伦理、社会影响等深层问题。对于研究者和从业者而言，理解三者的联系与区别，有助于在不同场景中选择合适的技术方案，把握人工智能领域的发展脉络。
机器学习、深度学习，大模型之间的关系？
2501_92069919的博客
05-20 702
人工智能（AI）技术中的机器学习、深度学习和大模型是相互关联的概念。机器学习是获取模型的一种方法，而深度学习是机器学习的一个子集，专注于使用深度神经网络进行建模。大模型，如语言或图像大模型，通常基于深度学习技术构建。在实际应用中，大模型可以直接解决某些问题，但在其他情况下，可能需要调整模型参数或选择更适合的机器学习方法。重要的是，选择AI技术时应考虑其与业务需求的匹配度，而不是盲目追求大模型技术。理解这些技术的关系和适用场景，有助于更有效地应用AI解决实际问题。
机器学习--特征工程具体案例
2201_75762674的博客
05-19 774
sklearn库中的玩具数据集，葡萄酒数据集。在前两次发布的内容《机器学习基础中》有介绍。
【计算机方向海外优质会议推荐】第二届图像处理、机器学习与模式识别国际学术会议（IPMLP 2025)
m0_73083823的博客
05-20 668
图像处理、深度学习、计算成像、可视化、光信号处理、图像采集、模式识别与分析、图像压缩、实时信号处理、人脸识别、云与边缘计算安全、数字信号处理、深度学习与神经网络）机器学习、自然语言处理、智能软件、图像处理、机器学习与软计算、数据挖掘、大数据技术、人工智能、深度学习、数据处理（计算机视觉、信号和图像处理、人机交互、模式识别、视觉学习、模式识别原理、机器人和深度学习、模型表示和选择、图像处理与分析、数据挖掘和大数据、生物识别、模式识别与信号处理、自动化、迁移学习、人工神经网络、人机交互
Structure-Aware Transformer for Graph Representation Learning 论文代码的 dgl实现
05-29
"Structure-Aware Transformer for Graph Representation Learning"是一篇使用Transformer模型进行图表示学习的论文。这篇论文提出了一种名为SAT（Structure-Aware Transformer）的模型，它利用了图中节点之间的结构信息，以及节点自身的特征信息。SAT模型在多个图数据集上都取得了非常好的结果。 以下是SAT模型的dgl实现代码，代码中使用了Cora数据集进行示例： ``` import dgl import numpy as np import torch import torch.nn as nn import torch.nn.functional as F class GraphAttentionLayer(nn.Module): def __init__(self, in_dim, out_dim, num_heads): super(GraphAttentionLayer, self).__init__() self.num_heads = num_heads self.out_dim = out_dim self.W = nn.Linear(in_dim, out_dim*num_heads, bias=False) nn.init.xavier_uniform_(self.W.weight) self.a = nn.Parameter(torch.zeros(size=(2*out_dim, 1))) nn.init.xavier_uniform_(self.a.data) def forward(self, g, h): h = self.W(h).view(-1, self.num_heads, self.out_dim) # Compute attention scores with g.local_scope(): g.ndata['h'] = h g.apply_edges(fn.u_dot_v('h', 'h', 'e')) e = F.leaky_relu(g.edata.pop('e'), negative_slope=0.2) g.edata['a'] = torch.cat([e, e], dim=1) g.edata['a'] = torch.matmul(g.edata['a'], self.a).squeeze() g.edata['a'] = F.leaky_relu(g.edata['a'], negative_slope=0.2) g.apply_edges(fn.e_softmax('a', 'w')) # Compute output features g.ndata['h'] = h g.update_all(fn.u_mul_e('h', 'w', 'm'), fn.sum('m', 'h')) h = g.ndata['h'] return h.view(-1, self.num_heads*self.out_dim) class SATLayer(nn.Module): def __init__(self, in_dim, out_dim, num_heads): super(SATLayer, self).__init__() self.attention = GraphAttentionLayer(in_dim, out_dim, num_heads) self.dropout = nn.Dropout(0.5) self.norm = nn.LayerNorm(out_dim*num_heads) def forward(self, g, h): h = self.attention(g, h) h = self.norm(h) h = F.relu(h) h = self.dropout(h) return h class SAT(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim, num_heads): super(SAT, self).__init__() self.layer1 = SATLayer(in_dim, hidden_dim, num_heads) self.layer2 = SATLayer(hidden_dim*num_heads, out_dim, 1) def forward(self, g, h): h = self.layer1(g, h) h = self.layer2(g, h) return h.mean(0) # Load Cora dataset from dgl.data import citation_graph as citegrh data = citegrh.load_cora() g = data.graph features = torch.FloatTensor(data.features) labels = torch.LongTensor(data.labels) train_mask = torch.BoolTensor(data.train_mask) val_mask = torch.BoolTensor(data.val_mask) test_mask = torch.BoolTensor(data.test_mask) # Add self loop g = dgl.remove_self_loop(g) g = dgl.add_self_loop(g) # Define model and optimizer model = SAT(features.shape[1], 64, data.num_classes, 8) optimizer = torch.optim.Adam(model.parameters(), lr=0.005, weight_decay=5e-4) # Train model for epoch in range(200): model.train() logits = model(g, features) loss = F.cross_entropy(logits[train_mask], labels[train_mask]) optimizer.zero_grad() loss.backward() optimizer.step() acc = (logits[val_mask].argmax(1) == labels[val_mask]).float().mean() if epoch % 10 == 0: print('Epoch {:03d} | Loss {:.4f} | Accuracy {:.4f}'.format(epoch, loss.item(), acc.item())) # Test model model.eval() logits = model(g, features) acc = (logits[test_mask].argmax(1) == labels[test_mask]).float().mean() print('Test accuracy {:.4f}'.format(acc.item())) ``` 在这个示例中，我们首先加载了Cora数据集，并将其转换为一个DGL图。然后，我们定义了一个包含两个SAT层的模型，以及Adam优化器。在训练过程中，我们使用交叉熵损失函数和验证集上的准确率来监控模型的性能。在测试阶段，我们计算测试集上的准确率。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值