【Scene Transformer】scene transformer论文阅读笔记

于 2024-08-04 12:40:57 发布
阅读量701 收藏 24
点赞数 25
分类专栏： 自动驾驶 机器学习 文章标签： transformer scene-trans 边缘预测 联合预测 序列掩码策略
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_35692628/article/details/140337078
版权

文章目录

 

scene transformer模型架构
掩码策略进行独立/联合预测

序言

(Abstract)

  • 核心思想: 受语言模型的启发, 在模型中使用序列掩码策略作为Query, 通过改变数据的可见性，允许用多种方式进行预测(MP,CMP,GCP)，如给定自车的goal或自车完整轨迹或其他agent的行为，以这些为条件来进行多目标预测，估算被掩码掉的未来时间和agents的feature

  • 即:

    • Quety ---- 自车goal或自车完整轨迹或agent行为
    • Result — 多目标预测结果

  • 文章采用的注意力机制结合了agent时间步, agents之间交互和道路元素之间的特征

  • 文章独立预测和联合预测都做了, 并在当时获得了最优结果, 但现在在waymo online排行榜中并不靠前

(Introduction)

  • 以前将自动驾驶任务划分为sub-task的方式是基于各个模块(感知,预测,规划)真正独立的假设, 但这个假设是不成立的,不光是模块化之后存在信息丢失,还因为自车和目标之间是互相影响的. 基于此文章提出了联合运动预测与规划的模型, 支持多目标多轨迹同时预测规划

  • 交互式预测要求建模联合特征joint features, 以保持agents未来轨迹的一致性. 建模joint feature最简单的方法是agents独立预测的结合, 但这种结合不具有一致性, 尤其是在轨迹重叠的时候没法避免重叠. 文章提出的模型天然的能捕获agents之间的交互, 得到场景级scene-level的agents预测结果

  • 文章给出了一种从规划角度的一种联合预测规划的方法

  • 文章支持多目标多模态的预测, 难点也就是目标本身行为的多样性(diverse)以及目标对彼此轨迹的影响(influence)

  • 为什么要进行联合预测呢: 首先因为运动预测和规划的子任务并不是真正独立的, 自车也会影响其他agent的行为, 而且独立预测的方案不利于表示不同agent之间未来的交互问题, 由此得到的规划也是次优(sub-optimal)的轨迹

  • 边缘预测 vs 联合预测 (marginal/independent prediction vs. joint prediction)

    • 边缘预测: 未来时刻, 不同agent之间的预测轨迹可能有冲突部分, 轨迹相交
    • 联合预测: 未来同一时刻, 不同agent之间的轨迹不会相交, respect each other’s prediction

  • 按照文章的说法, 文章的贡献在于:

    • (1) 以场景为中心的方法, 能够进行边缘/独立和联合预测的切换, 并都达到当时的SOTA
    • (2) 利用了置换等变的transformer架构, 考虑了agents/timesteps/road元素, 高效的架构
    • (3) 一种掩码序列建模方法, 在推理时以假设的代理未来为条件, 实现条件运动预测或目标条件预测

(Related Work)

  • 早期使用CNN捕获栅格图内元素间关系，但是处理空间交互时很困难;
  • 还有entity-centric的方法，使用RNN等方法编码历史特征，编码地图Pose信息和语义信息，通过信息聚合来捕获entity之间的关系，聚合方法包括池化、自注意力、GNN等方法;
  • 文章觉得之前的文章利用了transformer注意力机制的方法是在不同轴分别进行注意力分析再把结果展平到一起进入联合自注意力层，文章提出的方法能统一建模<agent时间步,不同agents,道路元素>之间的关系
  • 文章认为agent-centric具有固有pose不变性(个人理解是作为参考帧的pose)，然后lanegcn等方法也是在global frame里采用agent-centric的
  • 文章认为之前的文章对联合特征joint feature的考虑都是不够的，比如只考虑P(X)然后对Y进行条件建模P(Y|X)，本文提出了一般的对多agents联合特征建模的方法，直接解码得到k个联合特征

(Methods)

  • Scene Transformer模型有三个阶段:

    • (1) 对agent和road graph进行高维嵌入embedding
    • (2) 采用注意力网络编码agents和road graph的交互关系
    • (3) 使用注意力网络解码得到多个futures

  • 模型把每个时间步的输入都看做是一个特征feature, 然后预测每个agent每个时间步的输出;

  • 模型在每个时间步都采用一种联合掩码方式，indicator = 1或者0指示输入feature可见或不可见，借鉴了BERT模型的思想，这种方法很灵活，仅仅通过改变数据的可见性(不同的掩码方式)，允许同时训练一个模型用于单独的MP=Motion Prediction或者CMP=Conditional Motion Prediction或者GCP=Goal-conditioned Prediction
  • 每一个任务如MP/CMP/GCP都可以使用具体的掩码策略(设置indicator)，公式化为一个query，然后把数据提供给模型。模型的目标就是要估算被掩码掉的未来时间和agents的feature，如上图
(Scene-centric Representation for Agents and Road Graphs)

  • scene-centric的嵌入策略，scene-centric的过程:

    • 选择一个感兴趣位置的agent作为原点, 可以是AV也可以是任何一个要预测的agent
    • 其他所有的agents和road graphs都基于它编码
    • 以center的最新可见帧来进行编码的

  • agent-centric就是以每个agent作为原点进行编码, 多个agents就是多个原点

  • scene-centric的编码过程:

    • (1) 生成agents每个时间步的特征
    • (2) 生成静态road graphs的特征集合, 使用PointNet来学习每个polyline的特征向量
    • (3) 生成动态road graphs的特征集合, one feature vector per object如红绿灯, 空间上静止时间上动态
    • (4) 所有特征都处理和旋转到center, 并且进行正弦位置嵌入sin position embedding
(Encoding Transformer)
  • 大多数层都是transformer层, 每个注意力层都跟一个前馈网络,具有相同的隐藏维度; decoder最后接2层MLP，输出7个outputs，包括相对原点的坐标+不确定度和航向角;
  • 由于没有添加agent id, 文章设计了一种因子化注意力方法, 防止相同类型、时间步上相同掩码策略的agents得到相同的预测结果。这种方法也是置换等变的, 即跟agent输入transformer的顺序无关。然后agents和road graph的交互也是置换等变的，在通过网络的过程中road graph的特征也是不变的
(Predicting Probabilities for Each Futures)
  • 模型还需要预测每个future或者trajectory的概率，为此，文章额外添加了人工agent和时间步，具体通过计算agent每个时间步各个特征的均值得到，输入维度就从[A,T,D]变成了 [A+1,T+1,D] ，在解码器最后一层这个人工特征是要剥出来的，以获取每个agent的summary feature，然后这个feature再经过2层MLP和softmax层得到一个logit值，作为future或者trajectory的概率
(Joint and Marginal Loss Formulation)

  • 模型的输出[F, A, T, 7]是每个agent在每个time step的location和heading, scene-centric
    的编码, 支持同时预测所有agents

  • 联合预测和边缘预测的loss回传策略不一样, 感觉文章中没有讲的很清楚

  • 评估指标选用minADE，minFDE，MR和mAP(mean average precision)

(Results)

  • 数据集: 采用了argoverse和waymo open motion dataset
  • 因子化注意力方法带来了性能增益;
  • 掩码序列建模策略的优势:
    • 在训练和推理的时候, 模型可以指定哪个agent的哪些timesteps进行掩码(indicator = 0 per timestep), 这允许我们能够选择将不同agents不同timesteps的信息呈现给模型, 也能够知道模型如何利用和响应这些信息, 如此在推理的时候能够提供一种mutli-task模型
    • 这对于自车给定goal或者给定其他agents不同轨迹子集时, 给定自车规划, 预测结果会怎样, 特别有用. 文章的配图表达了这个意思, 如下
  • 定性检查发现, 多个tasks(MP/CMP/GCP)一起训练并没有降低motion prediction的性能
  • 联合预测相比边缘预测, 也能有更低的over-laps(不同agent间overlap是不合理的)

(Discussion)

  • 1.文章提出的单个模型就能进行MP，CMP，GCP的多预测任务
  • 2.通过精心建模可以定量提高系统表现, 得到了一个可以用于planning系统的学习模型
  • 3.模型能够确认环境中agents之间的交互, 潜在提供了确认因果关系的任务

(Questions)

  • (1) scene-centric和agent-centric的区别

    • agent-centric: 以每个agent为原点, 对每个agent都计算features
    • scene-centric: 以感兴趣的agent的位置作为原点计算所有features

  • (2) scene-centric怎么就反映出scene-centric了, scene是什么

    • 在一个场景中, 选定感兴趣的目标, 可以是自车也可以是要预测的目标, 其他所有目标和道路元素都以感兴趣目标最新帧位置为原点进行编码, 区别于agent-centric, 如上

  • (3) 模型能在marginal prediction和joint prediction之间随意切换是什么意思

    • 通过不同的掩码策略来实现切换
    • 不考虑周边其他agents和road graphs, 都掩码为0, 则是marginal prediction
    • 考虑周边所有agents和road graphs, 不进行掩码, 则是joint prediction

  • (4) 什么是transformer架构的permutation equivariant(置换不变性/置换等变性)

    • 标准的transformer并不直接具备置换不变性, 因为它包含了位置编码position-encoding, 位置信息也是编码的, 从而理解序列的顺序
    • 要使transformer具备置换不变性, 需经过特殊设计, 比如简单的不使用位置编码
    • 文章中主要是指agents顺序的置换等变和road graph以场景编码后的置换等变等

  • (5) 就算是一种联合预测规划的方法, 为什么要预测自车呢?预测自车的作用是什么?自车规划轨迹不是主动选择的吗

    • 这个模型就是给规划系统用的
    • 预测自车是选定自车goal的方式, 是goal-conditioned prediction, 联合预测了所有agents和自车的未来轨迹
    • 在实际应用中, 自车预测轨迹可作为实际规划的参考

  • (6) 动态道路图编码也是采用PointNet吗

    • 静态道路图编码是PointNet
    • 从文章附录中看, 动态道路元素不是用PointNet, 而是和agents一样通过2层MLP网络输出D维特征feature

  • (7) 文章提到的序列掩码策略具体长什么样

    • 文章附录A中提到, 有设置indicator来指示目标是否掩码, 如果掩码的话, 除了time embedding外, 所有的特征都要置为0

  • (8) 文章和TNT和DenseTNT的前后关系

    • 文章中和TNT和DenseTNT都做了性能比较
    • 从feature vector构建可知, 和TNT和DenseTNT一样, scene transformer也是用了vector-based的方法

 

[参考文章]
[1]. scene transformer论文学习笔记
[2]. scene transformer论文翻译，不准
[3]. scene transformer论文阅读笔记，推荐

created by shuaixio, 2024.07.10

shuaixio
关注
  • 25
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
OCR之论文笔记TrOCR
pku_langzi的博客
03-18 3421
发表：CVPR2022机构：微软现有的OCR方法往往基于 CNN + RNN的范式来进行建模，前者进行图像理解，后者用于字符级别的文本生成。除此之外，往往额外用一个语言模型来后处理，提高识别的准确率。本文，提出一种基于transformer的文本识别框架，将文本和图像都用transformer来建模，并且可以先在大规模人造数据上预训练，，再在人工标注的数据集上finetune。实验表明，TrOCR可以在印刷，手写和场景文本识别任务中，取得SOTA的结果。
论文阅读：SCENE TRANSFORMER: A UNIFIED ARCHITECTUREFOR PREDICTING MULTIPLE AGENT TRAJECTORIES
weixin_49056226的博客
08-02 1409
作为对我们模型的查询，使人们能够调用一个单一的模型，以多种方式预测代理人的行为，如可能的条件是自主车辆的目标或全部未来轨迹，或环境中其他代理的行为。最后，为了捕捉时间和代理的依赖性，该模型只是在后续层中交替使用对代理和时间的注意（图2，右侧面板）。我们强调，道路图的表示也是包罗万象的，并在场景中的所有代理中共享，而先前的方法通常使用每个代理的道路图表示。在每个时间步骤中的输出。边缘预测是只考虑一辆车的一条轨迹可能出现的概率，联合预测的概率是这一场景发生的概率，即在该场景下许多车辆的一条轨迹同时发生的概率。.
轨迹预测论文之七：SCENE TRANSFORMER A UNIFIED ARCHITECTURE FOR PREDICTING MULTIPLE AGENT TRAJECTORIES
海里的果
03-26 1633
老文章分享多了，来看一篇预测领域比较新的论文，是2021年下半年的论文SCENE TRANSFORMER。视觉领域在VIT出来后的21年，各种变种的Vit如雨后春笋一般出现，迅速在视觉领域攻城掠地。到现在TRANSFORMER已经是各个领域最normal的一种结构了，预测领域也不例外。文章提出了一种对多目标轨迹预测的统一的框架，直观感觉，与之前最大的不同，就是大量使用attention结构进行信息交互。
【论文阅读】ICLR 2022: Scene Transformer: A unified architecture for predicting future trajectories of ...
这里是张聪明，正在学习中，请稍后
04-05 1723
ICLR 2022: Scene Transformer: A unified architecture for predicting future trajectories of multiple agents Type: ICLR Year: 2022 组织: waymo 参考与前言 openreivew https://openreview.net/forum?id=Wm3EA5OlHsG pdf Scene Transformer: A unified architecture for
scene-transformer翻译
weixin_43889128的博客
10-29 842
Predicting the future trajectory of a moving agent can be easy when the past trajec- tory continues smoothly but is challenging when complex interactions with other agents are involved. Recent deep learning approaches for trajectory prediction show promisi
【探索未来交通】SceneTransformer：为自动驾驶铺平道路
gitblog_00008的博客
06-18 281
????【探索未来交通】SceneTransformer：为自动驾驶铺平道路???? 项目地址:https://gitcode.com/Chen-Albert-FENG/SceneTransformer ???? 项目简介 在自动驾驶的浩瀚宇宙中，每一寸数据都承载着安全与效率的秘密。SceneTransformer，作为一款基于PyTorch框架的开源项目，正是解锁这些秘密的关键钥匙之一。它以深度学习的姿态，挑战...
【论文笔记】Robust Scene Text Recognition with Automatic Rectification
rabbithui的专栏
12-20 3272
文章提出RARE模型实现对不规则文本的end-to-end文字识别，RARE由STN和SRN组成
《LOCALITY-CONSTRAINED SPATIAL TRANSFORMER NETWORKFOR VIDEO CROWD COUNTING》论文笔记
杨的博客
01-27 1749
LOCALITY-CONSTRAINED SPATIAL TRANSFORMER NETWORKFOR VIDEO CROWD COUNTING论文地址论文翻译ABSTRACT1. INTRODUCTION2. RELATED WORK3. OUR APPROACH3.1. Density map regression module3.2. LST module4. EXPERIMENTS5. C...
NERF论文笔记(1/2)
持之以恒
03-04 1659
辐射神经场NeRF论文原理总结，与原作者对话，原论文的精华浓缩，一句顶十句。
[论文笔记] Open-Sora 4、sora复现训练过程 (新repo)
心宝的博客
03-19 525
然而，它几乎没有透露任何有关其细节的信息。为了让AI更加“开放”，致力于打造Sora的开源版本。通过 VAE 下采样 4 倍和补丁大小下采样 2 倍，我们有 1440x1024≈1.5M 令牌。这与 Latte 论文中的变体 3 类似。然而，我们不控制这些变体的类似数量的参数。为了降低计算成本，我们希望利用现有的 VAE 模型。的 2x4x4 VAE 在我们的实验中质量较低。因此，出于效率考虑，我们选择STDiT（顺序）。的 4x4x4 VAE 不是开源的，而。没有开源的高质量时空VAE模型。
Transformers在自动驾驶领域的应用（High-level like in scene）
qq_39337332的博客
04-26 1327
Transformers uses global attention mechanism to capture long-range interaction information. Two core modules in Transformers are Self-Attention and Cross-Attention, which defined asAttn(Q,K,V)=softmax(QK⊤dk)VSelfAttn(X)=Attn(WQX,WKX,WVX)CrossAttn(X,Y)=Attn
Transformer综述(A Survey on Vision Transformer) 阅读学习笔记（三）--Transformer应用的图像处理与视频处理的研究
sazass的博客
03-11 7102
论文综述： 文章主旨：在本文中，我们回顾了这些视觉Transformer模型，将它们分为不同的任务，并分析了它们的优缺点。我们探讨的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理。我们还包括有效的Transformer方法，用于将Transformer推进基于设备的实际应用。此外，我们还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。在本文的最后，我们讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 其他章节： Transformer综
【Motion Forecasting】ProphNet：轻量化的Agent-Centric新方法，在保持精度的同时将推理延迟降低到与Scene-Centric方法相同的水准
最新发布
YGGP的博客
07-05 628
来自CVPR 2023的《ProphNet: Efficient Agent-Centric Motion Forecasting With Anchor-Informed Proposals》的阅读笔记和心得。
视觉transformer结构及应用场景梳理
3D视觉工坊
01-18 595
作为研究者，对前沿技术和研究热门方向的关注是必做的功课。近年来计算机视觉的几个分支绝对算是大热门。不论是工业界的追捧，还是从各个顶会论文的收录情况也不难看出其热度，相关的研究和论文数量倍增。但总有冷静的孩子：idea可能没有不卷的方向，但有相对不那么卷的方向；和相对比较容易出论文的热门方向。不论是为了继续升学搞科研还是进大厂，都不可忽略论文在其中起到的关键作用。那些以进大厂为目标的同学，要知道，...
深入理解transformer
weixin_47166887的博客
09-17 1427
深入理解transformer 本文主要读完《Attention is all you need》的一个关于transformer的总结，如有哪个地方不严谨，还请大家批评指正~ 论文 《Attention is all you need》 transformer整体结构 下图是论文种给出的transformer结构，transformer主要是编码-解码结构。左侧是编码层，右侧是解码层。黄色框是多头注意力，编码层有一个多头注意力机制，而解码层包括两个多头注意力机制，其中一个用到Masked。多头注意力机制上
轨迹预测论文阅读
qq_35632833的博客
08-10 3482
文章目录2018Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks 2018 Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks 来源 CVPR Social GAN
[深度学习论文笔记][Scene Classification] Learning Deep Features for Scene Recognition using Places Database
Hao_Zhang_Vision的博客
10-16 2488
Zhou, Bolei, et al. “Learning deep features for scene recognition using places database.” Advances in neural information processing systems. 2014. 1 Places Dataset 7M images, 476 place categorie
行人属性“Human Attribute Recognition by Deep Hierarchical Contexts”
cv_family_z的博客
10-13 4101
还是使用poselet检测到的part与行人整体结合，提取深度特征进行行人属性识别。此外，使用human-centric和scene-centric的上下文信息提升性能。human-centric上下文使用cnn特征最近邻计算其他行人part的相似度，捕获行人相互关系。场景上下文信息，使用全局场景分类得分对human-centric的预测结果进行重新打分。思路来源：如下图所示，由于遮挡和低图像质量等
Scene transformer
11-29
Scene Transformer是一种基于Transformer的神经网络模型，用于对场景图像进行处理和分析。它是一种端到端的模型，可以直接从原始图像中提取特征，并在此基础上进行场景理解和推理。Scene Transformer的主要思想是将图像分解为一组对象，然后对这些对象进行编码和关联，以获得对场景的全局理解。与传统的卷积神经网络不同，Scene Transformer可以处理不同大小和数量的对象，并且可以在不同的任务之间共享特征。 下面是Scene Transformer的一些关键特点和应用： 1. Scene Transformer可以用于多种场景理解任务，如目标检测、语义分割、实例分割等。 2. Scene Transformer可以处理不同大小和数量的对象，并且可以在不同的任务之间共享特征。 3. Scene Transformer可以直接从原始图像中提取特征，而无需使用手工设计的特征。 4. Scene Transformer可以通过学习对象之间的关系来进行场景理解和推理。 5. Scene Transformer已经在多个视觉任务中取得了优异的表现，如COCO目标检测、Cityscapes语义分割等。 下面是一个使用Scene Transformer进行目标检测的示例代码： ```python import torch import torchvision from torchvision.models.detection import FasterRCNN from torchvision.models.detection.rpn import AnchorGenerator # load a pre-trained model for classification and return # only the features backbone = torchvision.models.mobilenet_v2(pretrained=True).features # FasterRCNN needs to know the number of # output channels in a backbone. For mobilenet_v2, it's 1280 # so we need to add it here backbone.out_channels = 1280 # let's make the RPN generate 5 x 3 anchors per spatial # location, with 5 different sizes and 3 different aspect # ratios. We have a Tuple[Tuple[int]] because each feature # map could potentially have different sizes and # aspect ratios anchor_generator = AnchorGenerator(sizes=((32, 64, 128, 256, 512),), aspect_ratios=((0.5, 1.0, 2.0),)) # let's define what are the feature maps that we will # use to perform the region of interest cropping, as well as # the size of the crop after rescaling. # if your backbone returns a Tensor, featmap_names is expected to # be [0]. More generally, the backbone should return an # OrderedDict[Tensor], and in featmap_names you can choose which # feature maps to use. roi_pooler = torchvision.ops.MultiScaleRoIAlign(featmap_names=[0], output_size=7, sampling_ratio=2) # put the pieces together inside a FasterRCNN model model = FasterRCNN(backbone, num_classes=2, rpn_anchor_generator=anchor_generator, box_roi_pool=roi_pooler) # now we have a model and we can train it ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值