Latent Embeddings for Collective Activity Recognition

最新推荐文章于 2024-08-28 09:47:02 发布
最新推荐文章于 2024-08-28 09:47:02 发布
阅读量418 收藏 2
点赞数
分类专栏： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/physuleo/article/details/90549308
版权

个人总结：

第一次看到这个方面的论文，方法上还是用了后验概率来建立模型，不过代码并没有开源，具体细节还要商榷。

摘要

提出的问题：传统的手工定制的特征只能定义有限范围内的关系。在一个集体内，个体之间复杂的依赖关系不能很好地建立模型。

解决方法：通过在特征空间（feature space）嵌入潜在变量（embedding latent variable），利用深度学习框架学习特征映射函数。

嵌入的潜在变量包含了：

  1. 个人-集体之间互动的全局关系
  2. 通过联合建模，容纳更多范围内个体的上下文信息

另外在嵌入过程中，还利用了注意力机制，实现更为紧凑的表示（compact representation）。

介绍

我们通过将潜在变量嵌入在特征空间中来来推断拥有复杂依赖的潜在变量，而不是用人为定义的传统图模型。

两方面优点：

  1. 使用嵌入式的方法，模型可以对更为复杂的集体结构进行建模，而不是对个人-个人之间逐对建模。
  2. 个人与集体之间的非线性依赖关系可以通过在深度框架中有区分的学习过程推断出来。

为了获得更为精确的集体活动表示，在嵌入的过程中，为每一个个体设定不同的影响系数，一个注意力机制被引入去修正上下文结构。

h_{i}：捕捉person i 局部的person-group之间的互动。表示第 i 个个体的隐藏变量

h_{scene}：通过整合所有的局部互动信息，挖掘全局互动。表示第 i 个scene场景的隐藏变量

为了有效的建模复杂的依赖，我们学习嵌入在特征空间的潜在变量的表示。

我们的方法

不采用直接推断潜在状态的方法，我们利用嵌入的潜在变量（已经在深度神经网络当中参数化）在一个全局的视角去表征结构信息，然后利用person-group互动建模来进行集体活动识别（collective activity recognition）工作。

Modeling Collective Activity with Latent Variable

  变量定义：

x_{i}：表示person i 的可见变量，i\epsilon\upsilon _{p}

\upsilon _{p}：集体场景涉及的所有个人

x_{scene}：一个scene可见变量

后验概率：

表示：隐藏变量 h{_{i}} 捕捉到了person i 与group之间的互动信息。

表示：从一个全局的视角，h_{scene}捕捉到所有的集体场景内的互动。

基于潜在变量，联合考虑局部person-group 的互动和全局context两方面，完成collective activity识别。

 

公式一：u^{_{i}^{(t)}} as the embedding of latent variable h_{i}, 可以表示 “the local person-group interaction" 这中局部person-group 交互

通过一下方式来构造它：

  1. 联合考虑person i 的一元的图像特征x_{i}
  2. person i 的所有邻居的平均表面特征
  3. 上一步的嵌入式全局场景u{_{scene}^{(t-1)}} ， 其实就是全局上下文信息
  • 其中：N(i) 表示 person i 的所有邻居们，N(i) \epsilon \nu _{p} 
  • ";" 表示向量垂直连在一起
  • \sigma （） 表示线性修正单元（RELU）
  • \lambda 表示更新步值

同样的，是 the embedding of latent variable h_{scene}^{(t)}, 其作用是从一个全局的角度捕捉集体交流（collective interaction）。可以将其看作是全局关系的表示，因为它把个体和它附近的局部关系以非线性依赖的形式建模。

公式二：

通过一下方式来构造它：

  • global image feature 全局图像特征x_{scene}
  • 池化所有人的低层特征，即
  • 平均累计嵌入式的个人，即

公式三：基于嵌入式的潜在变量，我可以定义后验概率，y表示一个活动标签名。

  • 其中\o表示一个激活函数，本文设置为softmax

公式四：使用了cross entropy 交叉熵损失函数来评判模型输出与实际注释的一致性。

  • 其中\theta是模型参数，需要被学习到。
  • K是activity 的标签数
  • y_{k}=1,如果这一帧图像属于类k；否则为0

公式五：引入注意力机制

公式六：在一个集体情景里，给定个体的关联之后，我们可以测量起源于individual i 的个人-集体之间交互的重要程度。

  • 其中\tau是softmax函数的温度参数。

公式七：考虑到给定集体情景里所有的个体，我们可以构造嵌入式的场景方程如上。

实验

For feature representation, we used the feature maps obtained in the “pool5” layer of two-stream ResNet-50 net
(pretrained on the UCF101 action set [21]) as our twostream feature.

使用了ResNet-50

 

 

 

 

 

 

 

 

 

 

 

 

physuleo
关注
专栏目录
论文阅读问题总结(二)：Meta-Learning With Latent Embedding Optimization
qq_32599109的博客
03-18 694
1.本文提出得主要想解决的问题是什么？ 作者在本文中提到了基于梯度的元学习技术(尤其是学习到公共初始化参数随后通过调整初始化参数来适应特定任务的元学习方法：MAML, Reptile)使用特定任务的小样本数据集来通过梯度下降调整高维参数使得泛化困难(我的理解是小样本调整高维参数的适应过程容易过拟合)。 2.本文作者试图如何解决上述问题？ 1.设计模型使每个待解决的特定任务的初始化参数与此任务的训练集相关，使用Relation Network将每个任务的初始化参数引入数据集之间的相关性。 2.学习一个高维模型
请查收！顶会AAAI 2020录用论文之知识图谱篇
语言智能技术笔记簿
02-23 5317
2020年人工智能顶级会议AAAI录用的知识图谱领域的研究论文已为您准备就绪，请查收！
Group|Collective Activity Recognition
ily156401的博客
05-17 977
Group Activity Recognition venue:CVPR:  2016 Zhiwei Deng, Arash Vahdat, Hexiang Hu, Greg Mori: Structure Inference Machines: Recurrent Neural Networks for Analyzing Relations in Group Activity Rec
探索元学习的深度——Latent Embedding Optimization的奇妙之旅
最新发布
gitblog_00171的博客
08-28 323
探索元学习的深度——Latent Embedding Optimization的奇妙之旅 leo项目地址:https://gitcode.com/gh_mirrors/leo2/leo 在快速适应新任务的时代，元学习成为了人工智能领域的热点。今天，我们将焦点对准一个卓越的开源项目：Meta-Learning with Latent Embedding Optimization（简称LEO）。该项...
Meta-Learning with Latent Embedding Optimization
一刀不二
05-27 1850
LEO 思想 MAML 虽然可以通过少量梯度下降就能找到适应新任务的最优参数，然而对extreme low-data regimes在高维参数空间上操作时，还是过于不便。而LEO 则通过学习关于模型参数的a data-dependent latent generative representation，并在这种低维的latent space 中执行基于梯度下降，可以一定程度上绕过这些痛点。LEO 算法能够捕获数据中的不确定性，将基于梯度的自适应优化过程，从模型参数的高维空间中分离出来，并通过实验...
Latent Embeddings for Zero-shot Classification
cv_family_z的博客
07-29 2812
CVPR2016Latent Embeddings for Zero-shot Classification本文还是针对 zero-shot classification 问题。以前基于 structured embedding frameworks 解决这个问题的思路主要如下：首先将 图像和 类别信息映射到某些多维向量空间。 一般图像的嵌入信息（ Image embeddings ）通过 CNN
Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification (ECCV2020)
剑启郁兰的博客
09-25 1095
近来零样本学习文章大多基于生成模型，这篇文章也是在 GAN 的基础上更进一步来提高性能的。本文基于 VAE-GAN，作者说其他人用带 decoder 的模型，在训练之外就把 decoder 丢掉了，这很不好，因此作者倡议在训练、特征生成和分类都使用语义嵌入解码器 semantic embedding decoder (SED)。另外，使用的 feedback loop。创新点有两个，归纳起来就是 提出 semantic embedding decoder (SED)，并设计 feedback module
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3275
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
CVPR2017论文摘要汇总
super_chicken的博客
04-09 1万+
1. Exclusivity-Consistency Regularized Multi-view Subspace Clustering Abstract: Multi-view subspace clustering aims to partition a set of multi-source data into their underlying groups. To boost the ...
人脸识别一
AI+机器人
02-28 6768
awesome-Face_Recognition this collecting the papers (main from arxiv.org) about bellow themes: Face Detection && Face Segmentation; Face Alignment; Face Recognition && Face Identification && Face Verification && Face Repre
Recurrent Modeling of Interaction Context for Collective Activity Recognition
02-07
Recurrent Modeling of Interaction Context for Collective Activity Recognition
Python-一个简单易用的方式来可视化嵌入Embeddings
08-12
一个简单易用的方式来可视化嵌入Embeddings
dynamic modeling of wind farm interaction
05-06
dynamic modeing of wind farm
论文阅读笔记《Meta-learning with Latent Embedding Optimization》
深视
07-28 4193
核心思想   本文提出一种基于参数优化的小样本学习算法（LEO），与MAML，Meta-SGD算法相比，本文最重要的改进就是引入了一个低维的隐空间（Latent Space）。为了方便理解本文，我们首先回顾一下MAML算法，其目标是通过元训练得到一个好的初始化模型θ\thetaθ，使得模型能够通过少量样本的微调训练就能快速的适应任务需求，得到任务Ti\mathcal{T}_iTi​对应的模型参数θi′\theta_i'θi′​。为了实现这一目标，MAML算法通过两个层次的训练，内层循环（inner loop
Meta-learning with latent embedding optimization【论文笔记】
Xie_learning的博客
07-17 1597
Gradient-based meta-learning techniques are both widely applicable and proficient at solving challenging few-shot learning and fast adaptation problems. However, they have practical difficulties when operating on high-dimensional parameter spaces in extrem
什么是潜在变量，什么是隐含特征
JesonNb的博客
11-21 1080
潜在变量可以用来表示数据中的一些隐藏属性或特征，对数据的生成过程进行建模。总结起来，隐含特征是用来描述观测数据背后存在的但不直接可见的特征，而潜在变量是一种未观测到的变量，可以通过观测数据和模型来进行推断。总结起来，潜在变量是对数据生成过程中未知或隐含的变量进行的假设或推断，而隐含特征是这些潜在变量所代表的具有意义的特征。潜在变量（latent variable）和隐含特征（latent feature）是在机器学习和统计建模中常用的概念，用于描述数据中未直接观测到但对数据生成和表示具有重要影响的因素。
终于有人把Embedding讲明白了
华章IT官方博客
09-07 3500
导读：如果要总结深度学习大获成功的原因，那至少有两样东西必须入选：一样当然是很“深”的神经网络模型，这也是深度学习的“深度”的由来，另一样就是Embedding。在深度学习中，Embedd...
使用Latent SVM算法进行OPENCV下的行人检测
资源摘要信息: "本资源主要涉及使用OpenCV库结合Latent SVM算法进行行人检测的技术实现，同时涵盖了目标跟踪的相关知识。文档的标题暗示了其内容将包含如何在VC++环境下，利用支持向量机（SVM）进行目标检测，特别是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值