图卷积-动作识别-姿态预测三篇论文归纳

名称Actional-Structural Graph Convolutional Networks forSkeleton-based Action RecognitionConvolutional Neural Networks on Graphswith Fast Localized Spectral FilteringDeep representation learning for human motion prediction and classification
目的主要任务:动作识别
次要任务:未来的姿态预测
将CNN推广到图
利用GSP工具将CNN推广到图的数学和计算基础
开发和研究骨骼人体运动数据的学习表示,作为生成模型和特征提取器
特点1、捕捉关节内在依赖关系
2、预测未来帧
1、避免了使用显式傅里叶基,计算效率更高
2、多层扩散和节点局部操作
3、能够通过图卷积层提取局部特征和平稳特征
1、人体运动数据的特征提取
2、骨骼动作预测
3、卷积滤波器需要覆盖所有关节的范围以捕捉肢体相关性,使卷积发生在时间方向上
4、对整个动作序列进行分类
技术1、提出A-link推理模块,用于推断捕获特定于动作的潜在依赖关系的动作链接,将动作连杆组合成广义骨架图
2、多图动作卷积网络(AS-GCN)提取时空信息
3、引入额外的未来姿态预测头
4、每个ST-GCN块包含一个空间图卷积和一个时间卷积,可以同时提取空间和时间特征,最后一个ST-GCN块连接到一个完全连接的分类器,生成最终预测。
关键部分:每个关节相邻特征的加权平均
5、自我监督
6、门控递归单元(GRU)传播信息
7、LSTM学习时间特征
1、光谱规划
2、严格局部过滤器
3、高效池
4、TensorFlow
5、在图上设计局部卷积滤波器
6、将相似的顶点组合在一起的图粗化过程
1、开发了无监督学习方案,用于长期预测日常人体运动,而不局限于一小组动作
2、笔者团队学习的低维表示可以用于动作分类
3、基于滑动窗口的长期预测
4、主要使用识别作为验证工具
5、GPFA(高斯过程因子分析),揭示事件数据的非线性相关性
精确度1、优于目前最先进的方法
2、训练集:37920 测试集:18960[外链图片转存失败(img-CGMJABoF-1562659811319)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1562425845656.png)][外链图片转存失败(img-72WymInI-1562659811320)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1562426513588.png)]
在这里插入图片描述 在这里插入图片描述在这里插入图片描述在这里插入图片描述1、在动作预测方面的表现优于更复杂的深度学习模型、优于目前最先进的方法,并且能够预测更大范围的运动
2、数据库包含144名不同受试者的2235段录音,录音采样率60hz在这里插入图片描述
数据集NTU-RGB+D/dynamics两个骨架数据集MNIST
20NEWS
CMU mo-cap
链接https://github.com/limaosen0/AS-GCNhttps://github.com/mdeff/cnn_graph
缺点腿脚次要信息误差大长期预测的预测误差增加
优点未来关节位置的低误差,特别是具有特征的动作身体部位1、低计算复杂度,计算效率高
2、打破了CNN模型不能对内核的局部支持提供精确的控制的限制
1、能够推断出未来的框架
2、对特定动作的微调降低了预期误差,在长期预测和原始训练数据中不包含的动作尤其有效
3、能够填充缺失的信息
4、直接将最近的历史传递给模型,从而避免了递归网络训练的困难和周期性运动的趋势
5、低计算复杂度,适用于在线任务
相关图[外链图片转存失败(img-ENGfYp7z-1562659811321)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1562424110017.png)][外链图片转存失败(img-KV0cv0TF-1562659811321)(C:\Users\DELL\AppData\Roaming\Typora\typora-user-images\1562482421009.png)] 在这里插入图片描述在这里插入图片描述 在这里插入图片描述

  • 9
    点赞
  • 49
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于卷积-长短期记忆神经网络(Graph Convolutional Long Short-Term Memory, GC-LSTM)的情感识别代码可以分为以下几个步骤: 1. 数据预处理:首先,需要对情感识别的数据进行预处理,包括文本分词、去除停用词、构建词向量等。 2. 构建结构:将文本数据转化为结构,其中每个词语作为一个节点,词语之间的关系可以通过共现矩阵、依存关系等方式来表示。 3. 卷积层:使用卷积神经网络(Graph Convolutional Network, GCN)对结构进行特征提取。GCN可以通过邻居节点的信息来更新当前节点的表示。 4. 长短期记忆网络:将GCN提取的特征输入到长短期记忆网络(Long Short-Term Memory, LSTM)中进行序列建模。LSTM可以捕捉文本中的时序信息。 5. 情感分类:将LSTM输出的特征进行分类,可以使用全连接层或者其他分类器来进行情感分类。 以下是一个简单的伪代码示例: ```python # 数据预处理 preprocessed_data = preprocess(data) # 构建结构 graph = build_graph(preprocessed_data) # 卷积层 gcn_output = graph_convolution(graph) # 长短期记忆网络 lstm_output = lstm(gcn_output) # 情感分类 sentiment = classify(lstm_output) # 相关问题 related_questions = [ "什么是卷积神经网络(GCN)?", "长短期记忆网络(LSTM)是如何工作的?", "还有哪些常用的情感识别方法?" ] ``` 请注意,以上只是一个简单的示例,实际的代码实现可能会更加复杂,具体的实现方式可以根据具体的需求和数据进行调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值