A Hierarchical Spatio-Temporal Graph Convolutional Neural Network for Anomaly Detection in Videos

最新推荐文章于 2024-01-16 22:32:38 发布
最新推荐文章于 2024-01-16 22:32:38 发布
阅读量1.3k 收藏
点赞数 1
分类专栏： 论文阅读 AI 文章标签： 计算机视觉 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32815807/article/details/122178484
版权

A Hierarchical Spatio-Temporal Graph Convolutional Neural Network for Anomaly Detection in Videos

单位：北京航空航天大学
会议：TCSVT
论文地址：arxiv

提出的Spatio-Temporal Graph Convolutional Neural Network (HSTGCNN) 由多个分支组成，这些分支对应于不同级别的图表示。高阶图表示编码人的轨迹和多个人之间的交互，而低阶图表示编码每个人的局部身体姿势。更进一步，加权组合多个分支对于不同场景变现更好。
高阶图表示被赋予更高的权重，用于在低分辨率视频中编码人的移动速度和方向，而低阶段图表示被赋予更高的权重，则用于在高分辨率视频中编码人的骨架。 该模型只需对少量无异常的视频序列进行端到端的训练，就能有效地检测异常事件。

img

解决的问题

现有的方法有两个缺点

  • 只能独立地编码每个人的运动，而不考虑人之间的相互作用
  • 不同场景下模型的结构是固定的，这种模型缺乏对场景的理解

img

创新

高阶图表示由节点组成，每个节点代表一个人，它描述了个人之间的相对位置和相互作用，每个人的移动速度也被编码在图表示中。

低阶图表示人的姿态，并用于检测单个人的异常行为。

通过不同的分支在不同级别的图表示上进行推理，能够更好地处理不同的场景，比如其中一些场景人小且密集，而另一些场景人体大但是人少稀疏。为了理解场景并确定相应的分支的权重，使用光流场和人体边界框和骨架的平均大小将视频聚类到不同的组中，这些组就对应于不同的场景。

img

HSTGCNN

HSTGCNN由时空图特征提取器、未来轨迹预测器和异常仲裁器三部分组成。训练时输入是正常行为对应的图表示，并能够准确预测正常行为下人体关节的轨迹。

  • 时空图特征提取器由时空图卷积神经网络组成，对历史帧中所有骨骼的图表示执行时空卷积运算以提取特征

  • 未来帧预测器由时间卷积网络组成，时间卷积网络将人体骨架图表示作为输入，通过卷积运算预测未来的骨架轨迹

  • 异常值仲裁器首先将第二部分的输出输入多个分支中，然后对所有分支的预测加权求和，得到异常值得分

img

视频聚类

在不同的场景下，采用不同的分支权重。在这项工作中，将训练视频分成不同的组，并使用聚类方法对具有相似场景的视频进行分组。通过收集人数、人类体边界框和骨架的平均大小、光流场和其他信息作为视频中场景的特征，作为K-means的输入。确定一组适当的权重系数（W1、W2、W3），以便最小化在训练集中对每组中的三个预测分支加权求和的损失。例如，对于人群密集的场景，高阶图表示的权重更高，而在稀疏场景中，低阶图表示的权重增加。

img

实验

HSTGCNN具有更高的效率。HSTGCNN的网络结构不包含大量递归结构（MPED-RNN），同时HSTGCNN模型可学习参数量远低于其他模型

img

错误分析

尽管提出的基于姿态估计和跟踪的方法有效地提高了异常事件的检测准确性，但它在很大程度上仍取决于人体姿态估计模型的性能。

img

  • 由于遮挡行人跟踪错误
  • 视角原因远处自行车的速度和附近人的速度相近，这会影响基于移动速度的异常检测
  • 错误的检测骨架（玻璃反射等）
BENULL
关注
专栏目录
整理研究方向（1）【未完成】
qq_35780315的博客
07-26 2375
整理从交通流量预测发展到其他方向的团队文章，并研究调研我们可以研究的方向
NIPS2022上的图神经网络相关论文总结
jkokj23153的博客
09-20 3666
NIPS2022上的图神经网络相关论文总结
【交通流预测】Hierarchical Traffic Flow Prediction Based on Spatial-Temporal Graph Convolutional Network
HuDarleneq的博客
04-18 1230
目的是在一个普遍的或者交叉口的历史交通流量数据未知情况下，预测城市交叉口的未来交通流量圆点表示与历史数据的交点，三角形点表示没有历史数据的交点。在我们的假设中，在我们调查的场景中，圆形和三角形点之间没有一定的分布模式。
Spatio-temporal_Graph_Convolutional_Neural_Network.pdf
03-31
Spatio-temporal Graph Convolutional Neural Network: A Deep Learning Framework for Traffic Forecasting Bing Yu
Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing: A Survey
小蚂蚁与大象
08-23 617
多图卷积 Multi-Graph Convolution在城市系统中，在空间尺度上存在着多种关系。例如，在交通系统中，相似的交通模式可能存在于相邻区域和具有相似POI的区域中。因此，同时考虑多个空间关系对于STGNN中的时空依赖性学习是不可忽视的。该模型首先基于邻域、功能相似性和连通性构造多图，以表征多种空间相关性。对于每个图，分别采用上下文门控RNN和ChebNet来捕获时间和空间相关性。最后，通过融合并行化的多图时空隐藏信息，得到最终的预测结果。
【文献阅读-综述】图神经网络 Spatio-Temporal Graph Neural Networks for Predictive Learning in Urban Computing
torch_M的博客
10-26 2426
围绕时空图神经网络（STGNN）展开的综述，包含研究情况、基本结构、先进技术、现存问题等。
交通流量预测HSTGCNT：Hierarchical Spatio–Temporal Graph Convolutional
最新发布
日常发呆
01-16 1695
图卷积网络（GCN）具有图形化描述道路网络不规则拓扑结构的能力，已被应用于交通流预测任务中。然而，基于GCN的交通流预测方法往往无法同时捕捉到交通流数据所承载的短期和长期时间关系，并且还存在过平滑问题。为了克服这些问题，我们提出了一个分层的交通流预测网络合并新设计的长期时间Transformer网络（LTT）和时空图卷积网络（STGC）。具体而言，LTT旨在学习交通流数据之间的长期时间关系，而STGC模块旨在通过一维卷积和图卷积之间的级联分别捕获交通流数据之间的短期时间关系和空间关系。
Spatial-Temporal Fusion Graph Neural Networks 阅读笔记
qq_41451283的博客
05-30 1240
参考资料： 论文笔记：https://zhuanlan.zhihu.com/p/342483943 DTW算法：https://blog.csdn.net/zouxy09/article/details/9140207 Spatial-Temporal Fusion Graph Neural Networks 阅读笔记 1、Abstract 当前模型存在问题： 通过含不完全的邻接连接的空间图结构表示能力有限，限制了这些模型有效地学习时空相关性。 通常使用单独的模块来实现空间和时间相关性，或者只使用独
CVPR 2019 行为识别 相关论文
qq_36589469的博客
06-13 6206
CVPR2019 Action Recognition 相关论文 Video Action Transformer Network Abstract: We introduce the Action Transformer model for recognizing and localizing human actions in video clips. We repurpose a Trans...
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
基于信息增强传输的时空图神经网络交通流预测 Spatial-Temporal Graph Neural Network for Traffic Flow Prediction Based on Inf
daisyxyr的博客
04-25 731
7.基于信息增强传输的时空图神经网络交通流预测 Spatial-Temporal Graph Neural Network for Traffic Flow Prediction Based on Information Enhanced Transmission 摘要：交通问题不仅影响人们的出行，同时也会带来环境污染以及安全等问题，准确的交通流预测是构建智能交通系统、预防和缓解交通问题的关键.目前的预测方法大多没有考虑到交通流动态的时空相关性、周期性以及线性与非线性等特点.在充分考虑上述因素的基础上，提出
【论文阅读】Spatio-Temporal Graph Convolutional Networks:...Traffic Forecasting[时空图卷积网络:用于交通预测的深度学习框架]（1）
weixin_43360025的博客
05-09 1483
【论文阅读】Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting[时空图卷积网络:用于交通预测的深度学习框架]（1）0. Abstract1. Introduction（介绍） Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting 时空
OOD Hierarchical Semantic Contrast for Scene-aware Video Anomaly Detection 用于场景感知的分层语义对比异常检测模型
ResumeProject的博客
12-17 164
提高场景感知能力是视频异常检测 （VAD） 的一个关键挑战。在这项工作中，我们提出了一种分层语义对比（HSC）方法，用于从普通视频中学习场景感知VAD模型。我们首先利用预先训练的视频解析模型，将前景对象和背景场景特征与高级语义相结合。然后，在基于自动编码器的重建框架的基础上，我们引入了场景级和对象级对比学习，以强制编码的潜在特征在相同的语义类中是紧凑的，同时在不同的类中是可分离的。这种分层语义对比策略有助于处理正常模式的多样性，并提高其辨别能力。
Spatio-Temporal Graph Convolutional Networks A Deep Learning Framework for Traffic Forecasting
qq_41451283的博客
07-22 1087
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting 1.文章概述 在交通领域的预测问题，先前模型在短期预测上能取得较好的效果，但是在中长期的的预测中效果并不太好。 作者在文中将传统的中长期预测方法分为两种： 动态建模：使用数学工具和物理知识，该方法需要复杂的编程和巨大的算力消耗，且模型中使用了很多不切实际的假设和简化。 数据驱动：ARIMA该方法基于数据是平稳的假设不
翻译：Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition （ST-GCN）
zahidzqj的博客
07-02 2902
文章链接：https://arxiv.org/abs/1801.07455 Github 代码：https://github.com/yysijie/st-gcn 参考博客：https://blog.csdn.net/qq_36893052/article/details/79860328 SpatialTemporalGraphConvolutionalNetworksforS...
【论文笔记】Spatio-Temporal AutoEncoder for Video Anomaly Detection
weixin_44174163的博客
10-28 2128
Spatio-Temporal AutoEncoder for Video Anomaly Detection摘要1 引言2 我们的方法2.1 3D 卷积2.2 3D 卷积自编码器2.3 权重递减型预测损失2.4 规律性分数3 实验3.1 数据集3.2 异常的可视化3.3 异常事件检测3.4 预测未来帧4 结论 本篇论文收录于ACM MM 2017，论文中我们为城市大脑提供监控交通异常的方法。受动作识别等领域的最新研究成果启发，设计了一种时空自编码进行视频异常检测，同时提出一种权重递减的预测误差计算方法
【序列推荐、图网络、Transformer】STAM:A Spatiotemporal Aggregation Method for Graph Neural Network-based
CRW__DREAM的博客
03-18 2130
基于GNN的推荐系统通常基于空间结构信息对近邻embedding进行聚合，从而忽略了时间序列信息的聚合，本文提出STAM方法根据时间和空间信息对近邻的一阶邻居节点embedding进行聚合，并且此方法可以和其他GNN方法结合，即只修改GNN方法中的聚合函数为STAM即可。
[论]Learning Dynamic and Hierarchical Traffic Spatiotemporal Features with Transformer
panbaoran913的博客
06-24 2469
多头注意力机制。编码-解码结构。Transformer
hierarchical layout-aware graph convolutional network for unified aesthetics
04-29
Hierarchical Layout-Aware Graph Convolutional Network for Unified Aesthetics（层次感知布局的图卷积神经网络结合美学统一）是一种新的美学研究方法，它结合了层次布局和图卷积神经网络。 这种方法主要是为了解决美学研究中的难点问题，比如如何将视觉元素统一成一个整体，如何处理复杂的结构层次，如何为不同的美学领域提供有效的智能搜索引擎等等。该方法可以根据视觉的颜色，形状，纹理等特征，为图像提供一种更加有层次感和整体性的展示方式，从而使得美学研究更加有效和可靠。 该方法的关键在于研发了一种新的图卷积神经网络结构，它可以有效地捕捉图像中的结构信息和分层布局，从而在传统的神经网络中具有更小的结构参数和更好的卷积效果。除此之外，该网络还具有多级结构，可以根据不同的美学范畴进行专业化的训练，也可以结合人类视觉感知进行相关研究。 总之，Hierarchical Layout-Aware Graph Convolutional Network for Unified Aesthetics创新性地应用了图卷积神经网络和层次化布局思想，在美学研究方面具有重要的应用价值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值