【论文笔记】群体行为识别综述

最新推荐文章于 2023-03-06 18:20:55 发布
最新推荐文章于 2023-03-06 18:20:55 发布
阅读量5.1k 收藏 56
点赞数 32
分类专栏： paper笔记 文章标签： 论文阅读 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Geekaka_/article/details/126848936
版权

根据文章《群体行为识别深度学习方法研究综述》整理细化。

1 定义

群体行为是人与人、人与物及人与环境交互的集合。比如排球运动，或者大街上很多行人的集体活动。在群体识别任务中，术语“action”表示单个人的原子动作，而术语“activity”则表示一群人执行的更复杂的动作关系。

群体行为识别的大概流程如图1所示。首先通过各种网络架构进行特征学习和提取，对群体行为场景中的人体进行检测；然后，基于检测到的人体，采用多目标跟踪技术对人体进行跟踪处理，并利用获得的人体跟踪序列，对其进行个体行为表征，并识别其行为；在识别了各群体行为的参与者的个体行为类别以后，结合群体行为所处的场景信息及人体与人体、人体与场景的交互信息对群体行为进行识别。在该通用群体行为识别流程框架中，人体检测与跟踪在群体行为识别中属于低级的信息处理，个体行为识别属于中级的信息处理，群体行为识别属于高级的信息处理。

图1 群体行为识别流程

2 方法

群体行为识别方法和常规的行为识别方法分类大致相同。从目前的最新综述和paper with code上两个群体行为数据集（volleyball和collective activity）上的排名来看，主要分为三种：基于CNN/C3D+LSTM/RNN的方法，基于图卷积，基于transformer的方法。

2.1 基于CNN/C3D+LSTM/RNN

  • Ibrahim等人（A hierarchical deep temporal model for group activity recognition. In: CVPR (2016)）：目标检测之后先CNN提取特征，然后分别经过单人LSTM和多人的LSTM来做行为识别。群体行为时序动态特征可以从群体中个体行为的动态特征中推理出来。
    在这里插入图片描述
    这项工作还有一个改进版：
    1）收集了一个扩展的排球数据集，它比CVPR提交的文章中的数据大3倍。
    2）对实验结果进行了进一步的分析，并将其与另外一组baseline方法进行了比较。
    3）实现了方法的一个变体，在人员上执行空间池化策略。
    在这里插入图片描述

  • Detecting events and key actors in multi-person videos（2016）：使用LSTM结构实现。关亮点在于可以识别群体事件识别的关键参与者。制作了一个新的、涉及多人的大规模篮球运动数据集。(有14000个annotation)但是没有在volleyball和CAD数据集上的效果。
    在这里插入图片描述

  • Recurrent modeling of interaction context for collective activity recognition（2017）：输入为双流数据（flow+rgb），同样使用LSTM提取特征，光流提取部分用的是flownet：
    在这里插入图片描述

  • Social scene understanding: end-to-end multi-person action localization and collective activity recognition（2017）：使用全卷积网络+RNN。
    在这里插入图片描述

  • Hierarchical relational networks for group activity recognition and retrieval（2018）：使用层次关系网络（Hierarchical Relational Network），计算人的关系表示，给定了描述潜在的交互作用的图结构。每个关系层都提供了个人表示法和一个潜在的关系图。以往的工作在提取每个人的特征后，后面加上注意力机制/LSTM等等，虽然这样可以降低特征维度，但会丢失一定的信息。首先，将删除所有的空间信息和关系信息。第二，实际上定义行为的关于个人的特征就消失了。最后，虽然这种场景表示为群体活动识别进行了优化，但它不能用于基于个体动作的分析任务。这篇文章的方法构建了若干个关系图，每个关系图里又有每个个体不同的关联。
    在这里插入图片描述

  • stagNet: an attentive semantic RNN for group activity recognition（2018） 注意力语义RNN
    在这里插入图片描述

  • Region based multi-stream convolutional neural networks for collective activity recognition（2019）：检测+双流
    在这里插入图片描述

  • Convolutional Relational Machine for Group Activity Recognition（2020）：提出卷积关系机（CRM）。
    在这里插入图片描述

  • Group Activity Recognition Using Joint Learning of Individual Action Recognition and People Grouping（2021）：结合分组任务和单人动作识别
    在这里插入图片描述

以往的方法：

  1. 首先，通过卷积神经网络（CNN）提取人物级（personlevel）特征。
    2. 然后，设计一个全局模块来进行聚合，以生成场景级（scenelevel）特征。此方法使用不灵活的图形模型对动作者之间的关系进行建模，其结构是事先手动指定的，或者使用复杂但不直观的消息传递机制。
    为了捕获时间动态，循环神经网络 (RNN) 通常用于对密集采样帧的时间演化进行建模。导致其需要很高的计算成本，缺乏处理群体活动变化的灵活性

2.2 基于图卷积/图关系

  • Learning actor relation graphs for group activity recognition（2019）：捕获外观相似性和相对位置（appearance similarity and relative location）至关重要。所以考虑使用 ARG（actor relation graphs，动作者关系图）建模。 ARG图中的节点表示动作者的特征，边表示两个动作者之间的关系。
    动作者关系图
  • Spatio-Temporal Dynamic Inference Network for Group Activity Recognition（2021）
    在这里插入图片描述
    文章阐述了图卷积三种推理方式，绿色是待更新的特征，紫色是为绿色服务的特征。
    (a)全连接图推理；(b)交叉图推理；©提出了基于人的动态图推理，每个绿色节点都是唯一的。
    在这里插入图片描述
  • Progressive relation learning for group activity recognition (2020)：
    FD（Feature Distilling）是特征蒸馏模块。Relation-Gating (RG) agent这部分用于更新高阶的语义关联图，以此找到群体相关关系。
    在这里插入图片描述
    在这里插入图片描述- Joint learning of social groups, individuals action and sub-group activities in videos（2020）：
    在这里插入图片描述

图卷积存在的问题：

  1. 与特定的人互动的人应该是特定的人，但不是预定义的。预定义好的推理关系没法推断这种交互。
  2. 以往的GCN往往使用(a)/(b)的方式，它很容易导致过度平滑，使特性难以区分并损害性能。此外，如果扩展到长视频剪辑或扩展到场景中有太多的人，它会消耗过多的计算开销。

2.3 基于TransFormer

近年效果好的方法基本都是基于TRANSFORMER:

  • Actor-transformer（2020，https://paperswithcode.com/paper/actor-transformers-for-group-activity）：
    分为静态分支和动态分支：
    • 静态分支：人体姿态信息。使用HRNet提取人体骨架姿态信息。
    • 动态分支：光流和RGB。使用I3D提取特征。
      最后transformer-encoder细化并聚合actor级特性，再接独立动作和群体活动分类器。
      在这里插入图片描述
  • GroupFormer （商汤&港理工 - 聚类+姿态+transformer）：
    1)提取特征的backbone是I3D（输入双流，光流部分提取使用FlowNet）。
    2)GRG群体表示生成器：预处理部分。通过提出来的群体和个体特征生成群体表示token，然后再融合这两个token，得到群体token。
    3)CSTT 聚类时空transformer
    在这里插入图片描述
  • 2022Hunting Group Clues with Transformers for Social Group Activity Recognition（https://paperswithcode.com/paper/hunting-group-clues-with-transformers-for）:
    在这里插入图片描述
  • COMPOSER(2021): Transformer+关节点+聚类
    在这里插入图片描述

3 数据集和评价指标

常用的数据集有两个，分别是Volleyball和Collective Activity Dataset(CAD)。排球数据集包含55场排球比赛的4830个视频，包括3493个训练视频和1337个测试视频。每个视频中的center frame都标注有边界框、actions（单人动作）和 one group activity（群体活动）。action类和activity类的数量分别为9个(waiting, setting, digging, falling, spiking, blocking, jumping, moving and standing)和8个(right set, right spike, right pass, right win-point, left set, left spike, left pass, left win-point)。CAD包含44个生活场景的视频，它们被分为32个训练视频和12个测试视频。这些视频每十帧用边界框和动作标注一次。动作类的数量是6个。

对于排球数据集，使用两种类别的准确度（activity accuracy and individual action）来衡量，分别用于评估群体大类别和单人类别的预测精度。（准确率=预测成功的个数/总数）类似地，CAD数据集也有两种类别的精确度。

CVPR 2020 中的群组活动识别
我爱计算机视觉
07-17 1291
前两天盘点了CVPR 2020 中动作相关的论文：CVPR 2020 论文大盘点-动作识别篇CVPR 2020 论文大盘点-动作检测与动作分割篇动作（Action）往往指个体的行为，而活...
Group|Collective Activity Recognition
ily156401的博客
05-17 1030
Group Activity Recognition venue:CVPR:  2016 Zhiwei Deng, Arash Vahdat, Hexiang Hu, Greg Mori: Structure Inference Machines: Recurrent Neural Networks for Analyzing Relations in Group Activity Rec
数据集：人群行为识别数据库总结
人工智能讲师团
07-09 5197
开发十年，就只剩下这套Java开发体系了 >>>    参考论文：人群异常识别技术研究进展_魏永超     数据是人群行为识别研究的基础, 为了更加方便开展相关研究工作, 陆续有研究机构采集人群异常行 为数据, 构建了相关数据库并进行公开, 从而一定程度推动了人群行为研究. 这些数据库为行为识别的研 究提供了重要参考依据. 下面将对代表性的人群行为数据库的进行概括。 （1）...
Reading papers_10(人体行为识别特征点提取小综述)
weixin_34227447的博客
06-22 1933
      这是本学期一门课程的论文。(注：本人看过的行为识别特征提取方面的文章就10来篇，所以本综述大部分内容是参考其他人的综述的，有些并不是自己的成果，个人功底还没这么雄厚…)     行为识别特征提取综述   摘要   　　人体行为识别目前处在动作识别阶段，而动作识别可以看成是特征提取和分类器设计相结合的过程。特征提取过程受到遮挡，动态背景，移动摄像头，视角和光照变化等因素的...
DIN：用于群体行为识别的动态时空推理网络
Mr___WQ的博客
03-06 1044
本篇工作中，作者及团队提出了一种用于视频群体行为识别的动态时空推理网络(，在时空图的推理过程中引入可变形卷积的思想，通过在局部的时空交互域上对中心人物的全局交互图进行预测并更新特征，解决了之前在群体行为识别中可能出现的过平滑问题和计算量大的缺点。在同等实验设定下，推理模块只需要使用以往模型10%不到的计算量和参数量，便可以在两个业界权威数据集上达到最优结果。
人体行为识别及摔倒检测相关研究现状
热门推荐
weixin_44014740的博客
01-17 1万+
人体行为识别及摔倒检测相关研究现状 -------本文仅为学习笔记，不做任何商业用途------- 前言     近期由于需要做一些关于人体行为识别及摔倒检测的研究，故进行调研如下，如有错误请指正，欢迎交流。 一、行为识别     在场景识别中，有很大一部分研究是针对于人体行为识别的，主要进行识别的也是一些家庭内的危险行为，如小孩、老人摔倒检测，外来人员闯入等，这些都可归为人体行为识别的范畴之内。     行为识别（action recognition），即根据视频图像完成对于人体动作的区分，这其中包括但不
【论文笔记】A comprehensive survey on sentiment analysis: Approaches, challenges and trends（中）
qq_45841737的博客
12-02 1052
关于该篇论文3,4节的阅读笔记，翻译和理解不到位的地方请多见谅
繁凡的对抗攻击论文精读（一）CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击（清华朱军）
繁凡さん的博客
12-24 2685
《繁凡的论文精读》（一）CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击（清华朱军） Efficient Decision-based Black-box Adversarial Attacks on Face Recognition
论文笔记：Multiple Object Tracking: A Literature Review
marsjhao Blog
09-01 3262
论文地址：https://arxiv.org/abs/1409.7618 参考中文翻译：https://blog.csdn.net/yuhq3/article/details/78742658 0. 摘要 多目标跟踪（MOT）是一个重要的计算机视觉问题，由于其巨大的学术和商业潜力，引起了越来越多的关注。尽管已经有许多不同的方法来解决这个问题，但是由于诸如突然的外观变化和严重的物体遮挡等因素，...
行为识别综述
07-30
该文档包含了比较全面的行为识别的综述，以及深度学习的最近进展，能够帮助大家尽快掌握该领域的发展现状，为大家理清研究思路提供一定的帮助和参考。
Group-Activity-Recognition:一种新型的参与贡献时间动态模型的团体活动识别
05-26
参与贡献的小组活动识别的时间动态模型。 我们举一个一般的DMS（d ATA，男奥德尔，S奥尔弗）为PCTDM代码框架，通过Pytorch impelemented。 您可以通过轻松修改Configs的文件，将新模型或数据集应用到此框架中！ 有关我的更多信息，请访问我的。 要求 > Ubuntu 16.04 > pytorch 0.4.1 = python 2.7 pip install dlib GAR的通用管线 您可以运行python GAR.py执行以下所有步骤。 步骤零：预处理数据集 要在“ ./dataset/VD”和“ ./dataset/CAD”文件夹中下载和 ； 添加none.jpg 使用Processing.py跟踪人员并生成训练/测试文件； 第一步：行动水平 要将Piplines实例创建为： Action = Action_Level(dataset_root,
行为识别总结
09-05
这是本人经过一年多视频行为识别的研究得出的一些条理性见解，希望对大家有帮助
行为识别综述ppt
08-10
行为识别ppt
ActionRecognition——基于深度学习的动作识别综述
02-24
本文来自于csdn，本文章主要运用了多个图片介绍了如何基于深度学习的动作进行识别，希望对您的学习有所帮助。
【论文笔记】Evolving Deep Neural Networks.
qq_44055705的博客
11-05 1712
【论文笔记】Evolving Deep Neural Networks. 文章题目：Evolving Deep Neural Networks. 作者：Risto Miikkulainen, Jason Liang, Elliot Meyerson, Aditya Rawal, Dan Fink, Olivier Francon, Bala Raju, Hormoz Shahrzad, Arshak Navruzyan, Nigel Duffy, Babak Hodjat 关键词：Neural netwo
SODA－大型活动大规模人群的识别和疏散：从公交2.0到公交3.0
weixin_33984032的博客
11-09 297
2019独角兽企业重金招聘Python工程师标准>>> ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值