AS-GCN 论文解读

论文:基于骨骼动作识别的动作-结构图卷积网络

摘要

骨骼数据动作识别近年来在计算机视觉领域引起了广泛关注。先前的研究大多基于固定的骨骼图,仅捕捉关节之间的局部物理依赖关系,可能会忽略隐含的关节相关性

为了捕捉更丰富的依赖关系,我们引入了编码器-解码器结构,称为 A-link 推断模块,直接从动作中捕捉动作特定的潜在依赖关系,即动作链接

我们还扩展了现有的骨骼图以表示更高阶的依赖关系,即结构链接

将这两种链接组合成一个通用的骨骼图,我们进一步提出了动作-结构图卷积网络(AS-GCN),它将动作-结构图卷积和时间卷积堆叠成一个基本构建块,学习用于动作识别的空间和时间特征。

同时,在识别头部并行增加了未来姿态预测头部</

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
T-GCN(Temporal Graph Convolutional Network)是一种用于时间序列分类和预测的深度学习模型。它的核心思想是将时间序列数据表示成一个图结构,然后利用图卷积神经网络(GCN)对图进行卷积操作,从而实现时间序列数据的特征提取和预测。 以下是 T-GCN 模型的代码解读: ```python class TGCN(nn.Module): def __init__(self, num_nodes, in_channels, out_channels, K, p): super(TGCN, self).__init__() self.K = K self.p = p self.num_nodes = num_nodes self.conv1 = nn.ModuleList() self.conv2 = nn.ModuleList() self.conv3 = nn.ModuleList() self.conv4 = nn.ModuleList() self.conv5 = nn.ModuleList() self.conv6 = nn.ModuleList() for i in range(K): self.conv1.append(GCNConv(in_channels, 64)) self.conv2.append(GCNConv(64, 64)) self.conv3.append(GCNConv(64, 64)) self.conv4.append(GCNConv(64, 128)) self.conv5.append(GCNConv(128, 128)) self.conv6.append(GCNConv(128, out_channels)) def forward(self, x, A): x = x.reshape(self.num_nodes, self.p, -1) for i in range(self.K): x1 = self.conv1[i](x.view(self.num_nodes, -1), A) x1 = F.relu(x1) x2 = self.conv2[i](x1, A) x2 = F.relu(x2) x3 = self.conv3[i](x2, A) x3 = F.relu(x3) x4 = self.conv4[i](x3, A) x4 = F.relu(x4) x5 = self.conv5[i](x4, A) x5 = F.relu(x5) x6 = self.conv6[i](x5, A) if i == 0: res = x6 else: res += x6 x = torch.cat([x[:, 1:, :], x6.unsqueeze(1)], dim=1) return res ``` 这个模型的输入是一个形状为 `(num_nodes, p, in_channels)` 的张量 `x`,表示有 `num_nodes` 个节点、每个节点 `p` 个时间步、每个时间步 `in_channels` 个特征。`A` 是形状为 `(num_nodes, num_nodes)` 的邻接矩阵,表示节点之间的联系。 首先,模型将 `x` reshape 成 `(num_nodes, p, -1)` 的形状,其中 `-1` 表示特征维度。接着,模型利用 `nn.ModuleList` 定义了 6 层 GCN,每层 GCN 都包含了若干个 `GCNConv` 层。在每层 GCN 中,模型将输入 `x` 进行卷积,并利用 ReLU 激活函数进行非线性转换。最后一层 GCN 的输出作为该层的输出 `x6`。 在每个时刻 `i`,模型将 `x6` 加到之前的结果 `res` 中,并将 `x` 中除了第一个时间步以外的所有时间步和 `x6` 的第一个时间步拼接在一起,得到新的 `x`。这个过程会重复执行 `K` 次,最终模型的输出就是 `res`。 总体来说,T-GCN 模型是一个基于 GCN 的循环神经网络,可以对时间序列数据进行建模和预测。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一杯水果茶!

谢谢你的水果茶啦~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值