论文阅读：Spatial-Temporal Transformer for Dynamic Scene Graph Generation(ICCV2021)

最新推荐文章于 2023-10-10 17:45:14 发布
最新推荐文章于 2023-10-10 17:45:14 发布
阅读量1.9k 收藏 3
点赞数
分类专栏： 机器学习 文章标签： scene graph 场景图 transformer 深度学习 场景理解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40349484/article/details/121001800
版权

前些日子作业多，就没看论文。组会上老师问我有没有用transformer做场景图的。我说没吧老师。然后师姐给我发了这篇。今天把这篇文章梳理完了，做个记录。

这篇文章是做动态场景图的，就是由视频生成场景图。我之前看的都是基于静态图片的，也就是静态场景图。论文作者设计了一个Transformer，捕捉到了单个帧内各谓语表示的空间信息和相邻帧的时序信息。为什么要利用好时序信息呢？对于视频而言，前一帧对后一帧是有启发作用的，作者认为如果前一帧是人-holding-杯子这样的关系，那么很容易就能猜到后一帧是人-drinking from-杯子这样的关系。

老规矩先上pipeline。
在这里插入图片描述
（1）目标检测网络，作者用的是FasterRCNN，backbone使用了ResNet101

（2）生成谓语表示
在这里插入图片描述
t：第t帧，k：第k个谓词
i ,j：谓词关联到的两个物体，第i个和第j个
v：目标检测网络提取的视觉特征
uij：i，j两个物体的union box经过ROIAlign的特征
fbox：把物体i的bbox和物体j的bbox转换成特征，并且和uij维度相同
φ：展平
s：物体类别的语义嵌入信息
在这里插入图片描述
也就是说谓语表示融合了视觉特征、存在联系的主宾对的空间信息，和主宾对所属物体类别的语义信息。

（3）Spatial Encoder

t：第t帧；n：第n个注意力层，前一层的输出是后一层的输入。 这样，单个帧内的每个谓语表示都融合了全局的信息（虽然作者把这个叫做空间编码器，但我觉得也有全局的语义信息和视觉特征信息）

（4）Frame Encoding
帧编码。因为后面要利用相邻帧的信息，为了区分不同的帧，对每个帧进行编码，每个帧的编码结果不同。这一步注入了时序信息。

（5）Temporal Decoding
这一步是我觉得最重要的部分。时序解码这里利用的是相邻帧的信息，也就是真正地利用了时序信息。

这里的Q和K是相同的。Ef就是帧编码，Zi是滑动窗口η在所有帧上滑动的结果，如果η=2，那么就是帧1帧2进行解码；帧2帧3解码；帧3帧4解码这样。

（6）谓语分类 解码结果→谓语种类的概率分布

（7）loss function
谓语分类损失用的是多标签损失，对于预测正确的谓语，尽可能增大它的置信度，对于预测错误的谓语，尽可能减小它的置信度。
在这里插入图片描述
总损失 = 谓语分类损失+目标分类损失

糖豆豆今天也要努力鸭
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实时语义分割算法大盘点
爱CV
08-17 2991
语义分割论文 语义图像分割是计算机视觉中发展最快的领域之一，有着广泛的应用。在许多领域，如机器人和自动驾驶汽车，语义图像分割是至关重要的，因为它提供了必要的上下文，以采取行动，基于对场景的理解在像素级。 对于图像的理解有一下几个层次： 分类，即将图像中最具代表性的物体归为某一个类； 带有定位的分类，对分类任务的一个扩展，使用边界框将对象框起来在分类； 目标检测，对多个不同类型的对象进行分类和定位； 语义分割，是对图像中的每个像素进行分类和定位； 实例分割，是
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting
02-08
Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting
STTran: Spatial-Temporal Transformer for Dynamic Scene Graph Generation
m0_46246301的博客
08-26 673
动态场景图生成的目标是在给定的视频中生成场景图。与静态图片的场景图生成相比之下，它由于动态关系和时间依赖，能够获得更丰富的语义解释。本文提出STTran，包含了spatial encoder和temporal decoderspatial encoder：对输入的每一帧提取空间上下文以及视觉关系。temporal decoder：以spatial encoder的输出作为输入，从而捕获帧与帧之间的时间依赖关系，并推理动态关系。STTran能适用于不同时长的视频，尤其是能对长视频能有不错的效果。
期权matlab代码-Spatial-Temporal-Pooling-Networks-ReID:ICCV2017论文的代码-联合专注的时空
05-26
预算matlab代码时空池网络 ICCV 2017论文的代码-联合专注的时空汇集网络，用于基于视频的人员重新识别 如果您使用此代码，请引用： @inproceedings{shuangjiejointly, title={Jointly Attentive Spatial-Temporal Pooling Networks for Video-based Person Re-Identification}, author={Shuangjie Xu, Yu Cheng, Kang Gu, Yang Yang, Shiyu Chang and Pan Zhou}, booktitle={ICCV}, year={2017} } 依存关系 以下库是必需的： 及其软件包（nn，nnx，opttim，cunn，cutorch，image，rnn和inn）。 Nvidia GPU支持CUDA Matlab进行数据准备 资料准备 下载并提取数据集，然后进入data/目录。 data/iLIDS-VID 。 使用Matlab修改并运行data/computeOpticalFlow.m以生成光
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
02-08
Deep Spatial-Temporal 3D Convolutional Neural Networks for Traffic Data Forecasting
基于Spatial-Temporal Transformer的城市交通流预测
zuiyishihefang的博客
07-13 4135
文章信息本周阅读的论文是题目为《Spatial-Temporal Transformer Networks for Traffic Flow Forecasting》的一篇2021年发布在arXiv网站上的使用时空Transformer网络（STTNs）预测交通流的文章。摘要交通预测已成为智能交通系统的核心组成部分。然而，由于交通流的高度非线性特征和动态的时空依赖性，及时...
论文笔记：Adaptive Graph Spatial-Temporal Transformer Network for Traffic Flow Forecasting
Zongyouqiangu的博客
11-26 3053
自注意力的思想是通过使用相应的查询键对查询其他token来更新每个令牌自己的值在该论文中中，作者提出了一种新的模型，称为ASTNN，用于交通预测的图结构时空建模。ASTNN是由堆叠的ST-Attention Block构建的，用于同时建模空间和时间相关性。作者使用局部多头自注意（L-MSA）来有效地计算时空图上的关注。此外，为了探索真实的空间相关性并提高局部时空注意力的性能，还引入了可学习自适应图，该图可以帮助目标节点选择相关节点进行关注。
基于时空Transformer的短时交通流预测
zuiyishihefang的博客
05-06 6796
1、文章信息《Spatial-Temporal Transformer Networks for Traffic Flow Forecasting》。今年贴在arXiv上的一篇文章。2、...
【论文分享】Spatial-Temporal Transformer Networks for Traffic Flow Forecasting
zn0412的博客
11-15 7416
摘要        交通预测已经成为智能交通系统的一个核心组成部分。然而，由于交通流的高度非线性和动态时空依赖性，及时准确的交通预测，特别是长期预测，仍然是一个公开的挑战。在本文中，我们提出了一种新的时空Transformer网络（STTNs），它联合利用动态的定向空间依赖和长距离的时间依赖来提高长期交通流预测的准确性。我们提出了一种新的图神经网络变体，名为空间Transformer，以动态的方式建立具有自注意力机制的有向空间依赖关系模型
Transformer模型 | 基于Spatial-Temporal Transformer的城市交通流预测
最新发布
算法如诗的博客
10-10 421
Transformer模型 | 基于Spatial-Temporal Transformer的城市交通流预测
论文研究-QoE Assessment for Streaming Video Considering Spatial-Temporal Characteristic.pdf
08-22
考虑时间-空间特性的流媒体视频QoE评价模型，石然，刘奕彤，流媒体视频服务作为目前网络服务最广泛使用的应用之一，其用户感知质量已经引起了服务提供商的广泛关注。本文提出了一种预测流媒
Deep Spatial-Temporal Feature Fusion From Adaptive Dynamic Functional Connectivi
01-13
Deep Spatial-Temporal Feature Fusion From Adaptive Dynamic Functional Connectivi
STTN-SpatialTemporalTransformer模型代码
qq_43118572的博客
08-14 1003
1. Github代码 # -*- coding: utf-8 -*- """ Created on Mon Sep 28 10:28:06 2020 @author: wb """ import torch import torch.nn as nn from GCN_models import GCN from One_hot_encoder import One_hot_encoder class SSelfAttention(nn.Module): def __init__(self,
[Video Transformer] ViViT: A Video Vision Transformer
Cherry的笔记本
01-17 2002
CVPR2021 论文： https://arxiv.org/abs/2103.15691 代码： scenic/scenic/projects/vivit at main · google-research/scenic · GitHub 参考博客： 初探Video Transformer（二）：谷歌开源更全面、高效的无卷积视频分类模型ViViT (qq.com) 1 Introduction ViViT利用纯Transformer结构进行视频分类，是ViT在视频输入上的应用。 ..
论文Spatial-Temporal Transformer for Dynamic Scene Graph Generation
Mr___WQ的博客
03-21 461
最近由于要做SGG方向，恰巧之前保存过这篇论文2107.12309.pdf (arxiv.org)https://arxiv.org/pdf/2107.12309.pdf代码地址： GitHub - yrcong/STTran: Spatial-Temporal Transformer for Dynamic Scene Graph Generation, ICCV2021https://github.com/yrcong/sttran想进一步了解SGG任务的可以看下这篇综述，后续我也会进一步研究。2104
深度学习论文翻译 -- Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
DAOCHI
04-29 1144
摘要：空间金字塔池化（spatial pyramid pooling）或者编码-解码结构（encode-decode）被广泛应用于语义分割任务。通过不同采样值（rates）和多个有效的感受野，前者可以获取不同尺度的信息，而后者通过逐渐恢复空间信息的方式，可以获取尖锐目标的边界。本文中，我们综合两种方法的优点，设计新的网络结构。特别地，我们提出的模型，DeepLabv3+，与deeplabv3相比，...
论文阅读：Spatial-Temporal Transformer for Dynamic Scene Graph Generation
wawaqing2333的博客
12-08 3557
论文阅读：Spatial-Temporal Transformer for Dynamic Scene Graph Generation 论文地址：https://arxiv.org/abs/2107.12309 github地址：https://github.com/yrcong/sttran SSTran是一种可以利用时空上下文的Transformer (STTran: Spatial-Temporal Transformer)来生成动态场景图 (Dynamic Scene Graph). 主要贡献
3D Human Pose Estimation with Spatial and Temporal Transformers论文笔记
m0_51897038的博客
11-10 4013
一.概述 3D人体姿态估计的方法主要分为两类：直接估计（Direct estimation）和 2D 到 3D (2D to 3D lifting) 。 其中 2D 到 3D 的方法先利用 SOTA 2D 人体姿态估计算法得到 2D 关键点，再通过神经网络估计 3D 人体姿态。基于其优异的表现，2D 到 3D 已成为主流方法。 与从单张图片中估计 3D 人体姿态相比，从视频中估计 3D 人体姿态能利用时序信息进行更准确的预测。然而主流方法大多利用时序卷积（Temporal convolutional
pytorch报错详解：RuntimeError: Trying to backward through the graph a second time
热门推荐
qq_40349484的博客
07-17 1万+
代码如下，当我尝试对y3进行第二次梯度计算时，报了这个错 import torch x = torch.tensor([1], dtype=torch.float32, requires_grad=True) y1 = x ** 2 y2 = x ** 3 y3 = y1 + y2 y3.backward() print(x.grad) x.grad.data.zero_() y3.backward() print(x.grad) 百度了一下问题原因和解决方法， 解决方法：在第一次backward中加一
spatial-transformer-GAN
09-13
空间变换生成对抗网络（Spatial Transformer GAN，简称ST-GAN）是一种利用空间变换网络（STN）的特殊类型的卷积神经网络（CNN），用于生成逼真图像的方法[1]。STN能够对图像进行几何变换，通过限制可能的输出空间，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值