论文笔记：Hierarchical Contrast for Unsupervised Skeleton-based Action Representation Learning

已于 2023-02-28 14:27:12 修改
阅读量523 收藏 3
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读 人工智能 机器学习
于 2023-02-28 14:19:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/129259541
版权

1 Intro

  • 3D骨架识别问题
    • 早期以完全监督的方式训练网络
      • ——>需要大量人工标注的骨架数据，花费昂贵，且很是费时
    • 无监督的3D骨架表示学习在近年来被不断研究
      • 早期的无监督工作主要聚焦于生成式方法
        • 将3D骨架动作编码后，在不同的代理任务（比如骨架重构、骨架着色）的指导下解码，以达到学习特征表示的方法
        • 但这类方法效果有限
      • 性能更好、机制更简单的对比学习成为了近些年的主流
        • 通常将3D骨架动作表示为实例级别的特征（instance-level），然后进行实例之间的整体对比学习
  • 这篇论文认为，3D骨架动作具有层次结构，如果仅使用实例级别的特征进行对比学习，效果可能是次优的
    • 3D骨架动作作为序列，时间维度上可以看作帧 (frame) 的集合，空间维度上可以看作节点 (joint) 的集合。
    • 同时帧或节点是基本元素，可以构建为更大粒度的元素，如片段 (clip) 或部件 (part)
  • 论文提出用于无监督 3D 骨架动作表示学习的层级对比框架 HiCo
    • HiCo 通过层级编码器网络将 3D 骨架动作序列编码为部件级 (part-level)、片段级 (clip-level)、域级 (domain-level)和实例级特征，并在这几个层次上分层地进行多级对比。

2 模型

 

2.1 层次编码网络

层级编码网络包括时间和空间两个分支，分别从时间域和空间域以多粒度方式编码得到多个特征。

2.1.1 片段级特征表示

  • 从不同长度的片段中提取特征

  • 给定T帧J个节点的3D骨架动作序列X \in R^{T\times J \times 3}

    • 首先将其重新排列成帧列表的形式X^c \in R^{T\times 3J}V_n^c=Temporal\_Max\_Pooling(Seq2Seq(X_n^c))

    • 然后使用一个MLP，作为帧Embedding，将帧信息映射到高维空间

  •  为了得到不同长度的 clip，这里使用下采样UDM (Unified Downsampling Module)
    • 通过一维卷积加一维最大池化的可训练方式缩短序列长度
    • 每一层UDM捕获各帧kernel size大小的时间维度信息
    • 通过不断调用 UDM，就得到时间维度越来越短的序列
    • 这样不同粒度 clip 包含不同时间尺度的信息，具有较强的互补性。
  • 得到各个X_n^c之后，使用 seq2seq 模型建模时间上的依赖关系，再通过时间维度上的最大池化将帧级特征聚合为视频级特征

  • 对每个粒度的clip都计算相应的视频级特征，然后拼接起来，得到片段级特征

2.1.2 部件级特征表示

  • 空间分支在空间域上提取不同空间粒度特征，形成部件级特征表示。
  • 给定T帧J个节点的3D骨架动作序列X \in R^{T\times J \times 3}
    • 重新排列乘节点列表X^P \in R^{J \times 3T}
  • 然后使用同样的方式，得到

 2.2 域级和实例级特征表示

  •  将不同粒度的片段级特征融合为时间域特征，将不同粒度的部件级特征融合为空间域特征
  • 再将这两个域级特征融合为实例级特征，由此得到了多层级结构的多特征表示。
  • 论文中，F只是concatenate

 2.3 层次对比

总的优化目标由底下几部分共同组成

2.3.1 实例级对比

  • 和之前的经典对比学习任务是类似的，在实例级特征上进行实例对比学习
  • 在不同数据增强下的同一个样本的两个实例级特征和其他样本的实例级特征间进行正负样本判别

2.3.2  域级对比（时间域+空间域）

  • 论文认为不管时间域还是空间域都是同一样本的不同表示，应有相同的高级语义信息，可以用来相互作为监督信号，所以将它们看作互为正样本。
  • 使用跨域的对比方法，是希望时间域和空间域特征在嵌入空间中尽可能接近

 2.3.3 片段级和部件级对比

  • 在片段级和部件级上，不同粒度特征也类似地应有相同的高级语义信息，互为正样本。
  • 由于不同粒度的特征数量较多，作者做了简化处理，将最小粒度的特征（L=1）作为 query 去匹配其他样本。

3 实验

UQI-LIUWJ
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
人体行为识别：Asynchronous Interaction Aggregation for Action Detection
huangyiping12345的博客
06-20 3982
参考文献：https://arxiv.org/abs/2004.07485v1 代码实现：https://github.com/MVIG-SJTU/AlphAction Asynchronous Interaction Aggregation for Action Detection 摘要 理解交互是视频动作检测的重要组成部分。我们提出了异步交互聚合网络（AIA），它利用不同的交互促进动作检测。其中有两个关键设计：一是交互聚合结构（IA），采用统一的范式对多种交互类型进行建模和集成；另一种是异步内存更新算法
AAAI 2023 | HiCo: 一种简单有效的3D骨架动作表示学习框架
Paper weekly
02-27 522
©Paperweekly 原创 · 作者 |孙圣凯单位 |浙江工商大学研究方向 |自监督学习本文介绍一篇 AAAI 2023 Oral 的工作。基于 3D 骨架的动作识别由于其轻量、鲁棒性好等特点，近年来受到了越来越多的研究关注，但如何利用无标签的数据学习 3D 骨架动作的特征表示以用于下游任务仍存在不少挑战。针对这一场景，本文作者提出了一种简单有效的基于层级对比的无监督 3D 骨架动作表示...
[2020ECCV]Contrastive Learning for Unpaired Image-to-Image Translation
ROX77777的博客
02-10 1295
[2020ECCV]Contrastive Learning for Unpaired Image-to-Image Translation
CVPR 2023 | 基于动作元对比学习的无监督骨架动作识别
Paper weekly
06-21 1171
©作者 |林里浪来源|STRUCTatPKU本期分享 STRUCT 小组 CVPR-2023 的 Highlight 文章。本项工作提出了一种依赖动作元 (Actionlet) 的对比学习方法 (ActCLR)。动作元被定义为人类骨架的运动关节集合。其有效地分解了运动区域与静态区域，以便更好地进行动作建模。通过与不含运动的静态基准对比，提取骨架数据中的运动区域，并将其作为动作元。然后，构建了...
文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
codename_cys的博客
03-13 4720
文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples 1. 内容简介 2. 方法实现 1. embedding的获取 2. soft negative样品的生成 3. loss函数的定义 3. 实验 & 结果 1. 基础实验结果 2. soft-negative样品的作用 3. BML loss的考察 4. similarity考察 5. 实例考察 ..
论文笔记：Hierarchical Contrast for Unsupervised Skeleton-based Action
weixin_54013293的博客
10-10 711
2、相比于传统模型的实例级（instance-level）对比，本文采用了多级对比，主要分为四级对比，实例级（instance-level），域级 (domain-level)，片段级 (clip-level)和部件级 (part-level)。Top-1： Accuracy是指排名第一的类别与实际结果相符的准确率，就是你预测的label取最后概率向量里面最大的那一个作为预测结果，如过你的预测结果中概率最大的那个分类正确，则预测正确。此外，文章还证明了作者方法对于半监督的基于骨架的动作识别也是有效的。
PREDICT & CLUSTER: Unsupervised Skeleton Based Action Recognition【预测与聚类：基于无监督骨架的动作识别】
qq_47010874的博客
11-20 308
相比之下，我们的系统是完全无监督的，不需要任何阶段的动作标签，只需要输入身体关键点就可以操作。在交叉视图测试中，我们的结果优于之前基于无监督骨骼的方法，基于无监督RGB+D的方法，并且在无监督骨骼的情况下，其性能与基于有监督骨骼的动作识别相似。尽管最近的方法在识别视频中的基本动作方面显示出了惊人的成功率，但当前的方法依赖于强大的监督，并附带大量带有动作标签的训练示例。将这两种策略结合在一起，我们发现网络可以学习一个健壮的表示，并且我们的结果表明，与未经训练的无监督方法相比，这种策略可以获得显著增强的性能。
AutoAlign: Pixel-Instance Feature Aggregation for Multi-Modal 3D Object Detection多模式3D对象检测的实例像素特征聚合
Crush_dory的博客
07-30 976
被IJCAI2022接收， 多模态融合3D目标检测
NAACL2022 对比学习论文
from top to bottom
08-16 775
目录Long papersshort papersIndustry Track[1] HiURE: Hierarchical Exemplar Contrastive Learning for Unsupervised Relation Extraction[2] CONFIT: Toward Faithful Dialogue Summarization with Linguistically-Informed Contrastive Fine-tuning[3] Cross-modal Contrati
HiCLRE: A Hierarchical Contrastive Learning Framework for Distantly Supervised Relation Extraction
qq_45041871的博客
05-15 451
远程监督假设任何包含相同实体对的句子都反映了相同的关系。先前的远程监督关系抽取（DSRE）任务通常独立地关注sentence-level或bag-level去噪技术，忽略了跨级别的显式交互。在本文中，我们提出了一种用于远程监督关系抽取的分层对比学习框架（HiCLRE），以减少有噪声的句子，该框架集成了全局结构信息和局部细粒度交互。
论文笔记—Recasting gradient-based meta-learning as hierarchical bayes
07-21
论文摘要：元学习允许智能代理利用先前的学习情节作为快速提高新任务性能的基础。贝叶斯分层建模提供了一个理论框架，用于形式化元学习，作为对跨任务共享的一组参数的推断。在这里，我们重新定义了Finn等人的模型不...
HSCS: Hierarchical Sparsity Based Co-saliency Detection for RGBD Images
02-08
HSCS: Hierarchical Sparsity Based Co-saliency Detection for RGBD Images
论文研究-Hierarchical Saliency-based Representation for Human Interaction Recognition.pdf
08-18
基于层次显著性表达的人体行为识别，呙维，胡涛，识别人体行为是计算机视觉中最重要的问题之一，广泛影响着许多应用。本文提出一种基于层次显著性表达的两人互动行为识别的新方法
A hierarchical ontology context model for work-based learning
02-21
A hierarchical ontology context model for work-based learning
CluterNet: Deep Hierarchical Cluster Network with Rigorously Rotation-Invariant Representation for Point Cloud Analysis
02-08
CluterNet: Deep Hierarchical Cluster Network with Rigorously Rotation-Invariant Representation for Point Cloud Analysis
论文笔记-Contrastive Learning for Unpaired Image-to-Image Translation
kingsleyluoxin的博客
08-06 4614
论文信息 标题： Contrastive Learning for Unpaired Image-to-Image Translation 作者：Taesung Park, Alexei A. Efros, Richard Zhang, Jun-Yan Zhu 机构：University of California, Berkeley; Adobe Research 代码链接 https://github.com/taesungp/contrastive-unpaired-translati..
【CVPR 2021】Joint Generative and Contrastive Learning for Unsupervised Person Re-identification
Joselynzhao
10-19 1170
方法概述 1，提出了一种用于无监督行人重识别的联合生成对比学习框架，生成和对比模块互相提高对方的性能。 2， 在生成模块中，我们引入了3D网格生成器。 3， 在对比模块，我们提出了一种视角无关的损失，来减少生成样本和原始样本之间的类内变化。 文章目录方法概述内容概要工作概述成果概述方法详解方法框架具体实现实验结果总体评价引用格式参考文献 内容概要 论文名称 简称 会议/期刊 出版年份 baseline backbone 数据集 Joint Generative and Contrastiv.
【论文阅读-2】Contrastive Learning for Unpaired Image-to-Image Translation（CUT）
Paul_Huang的专栏
08-23 8876
CUT阅读笔记 论文标题： Contrastive Learning for Unpaired Image-to-Image Translation 论文作者：Taesung Park, Alexei A. Efros, Richard Zhang, Jun-Yan Zhu 机构：University of California, Berkeley; Adobe Research 开源代码：https://github.com/taesungp/contrastive-unpaired-translat
【论文】Contrastive Learning for Unpaired Image-to-Image Translation复现过程
weixin_45648030的博客
06-08 444
Contrastive Learning for Unpaired Image-to-Image Translation复现过程
hivt: hierarchical vector transformer for multi-agent motion prediction
最新发布
12-11
HIVT（Hierarchical Vector Transformer for Multi-Agent Motion Prediction）是一种用于多智能体运动预测的分层向量变换器。该模型使用了向量变换器（Vector Transformer）的层级架构，用于对多智能体的运动轨迹进行预测。 HIVT模型旨在解决多智能体之间相互影响和合作的问题。在多智能体系统中，智能体之间的运动和行为往往会相互影响，因此准确预测智能体的运动轨迹变得非常重要。传统的方法往往难以捕捉到智能体之间的复杂相互作用和外部环境的影响，而HIVT模型通过分层向量变换器的架构，可以更好地捕捉到多智能体系统中的相互作用。 HIVT模型首先使用一个全局的向量变换器来处理整个多智能体系统的运动轨迹，以捕捉全局的趋势和相互作用。然后，对于每个智能体，模型使用一个局部的向量变换器来预测其个体的运动轨迹，以考虑个体特定的动态特征和周围智能体的影响。 通过分层向量变换器的架构，HIVT模型能够更好地处理多智能体系统中的动态变化和相互作用，提高了运动轨迹预测的准确性。同时，该模型还可以应用于多个领域，如智能交通、无人机团队协作等。 总而言之，HIVT模型是一种基于分层向量变换器的多智能体运动预测方法，通过捕捉多智能体系统中的相互作用和全局趋势，提高了运动轨迹预测的准确性和适用性。该模型在多个领域具有广泛的应用前景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值