20230521周报

§ 1.Collaborative Learning of Gesture Recognition and 3D Hand Pose Estimation with Multi-Order Feature Analysis （ 基于多阶特征分析的手势识别和三维手势估计协同学习 ）

作者 | Siyuan Yang, Jun Liu, Shijian Lu, Meng Hwa Er, Alex C. Kot

单位 | 南洋理工大学；新加坡科技设计大学

此文提出了 一种用于联合手势识别和三维手部姿态估计的新型协作学习网络 。 所提出的网络利用了对这两项任务都至关重要的联合感知特征，手势识别和 3D 手姿势估计可以相互促进，以学习具有高度判别力的特征。

还介绍了一种新的多阶多流特征分析方法 ，该方法可以有效地从视频的中间特征图中学习姿势和多阶运动信息。

从此文中了解到，在早期阶段，许多手势和动作识别方法是基于手工制作的特征开发的。随着深度学习的进步，卷积神经网络已被应用于手势识别和动作识别。

此文中提出的网络流程可以分为 5 个阶段：

（ 1 ）生成 J 。

（ 2 ） 生成 P 和预测 3D 手部姿势。

（ 3 ） 正在将输入聚合到手势子网络。

（ 4 ） 生成 G 和识别手势类 别 。

（ 5 ） 将输入聚合到姿势子网络。（如图中的（ 1 ） - （ 5 ）所示）。阶段（ 2 ）至（ 5 ）以迭代方式进行操作

阶段1：生成J。

预训练的ResNet（残差网络）用于学习联合感知特征图J。

阶段2：生成P和预测3D手姿势。

学习的特征图J被馈送到姿势特征分析模块（如图所示），以生成3D手姿势（2D热力图H和深度值D），以及姿势优化的关节感知特征图P。

阶段3：聚合手势子网络的输入。

1×1卷积用于通过聚合关节感知特征图J和姿势优化的关节感知特征地图P来生成中间特征图。

阶段4：生成G和识别手势类别。

将中间特征图作为输入提供给手势特征分析模块，以生成手势优化的关节感知特征图G并识别手势类别y。

阶段5：聚合姿势子网络的输入。

用1×1卷积聚合姿势优化的联合感知特征图G和联合感知特征地图J，然后进行求和。聚合的特征图被馈送到下一迭代的姿态子网络，作为进一步特征学习的输入。

阶段2至5以迭代的方式重复，以协同执行手势识别和手姿势估计，从而进一步提高性能。

§ 2. 基于深度学习的图异常检测技术综述

作者 | 陈波冯 李靖东 卢兴见 沙朝锋 王晓玲 张 吉

单位 | 华东师范大学计算机科学与技术学院 ； 复旦大学计算机科学技术学院；之江实验室

此文针对近年来基于深度神经网络的图表示学习，如何利用深度学习方法进行图异常检测给出了静态图和动态图上各类常见的异常定义，然后调研了基于深度神经网络的图表示学习方法，接着从静态图和动态图的角度出发，梳理了基于深度学习的图异常检测的研究现状，并总结了图异常检测的应用场景和相关数据集，最后讨论了图异常检测技术目前面临的挑战和未来的研究方向。

从此文中了解到：图作为一种通用的数据结构，被广泛用于表示复杂的结构化数据。相对于其他数据结构，它能更好地存储和表达实体及其联系。相对于其他数据结构，它能更好地存储和表达实体及其联系。现实世界中，图在社交网络分析、 Web 网络分析、交通路网优化、知识图谱构建等领域均有广泛的应用。

§ 图神经网络模型及应用

图神经网络的概念在文献《Scarselli F, Gori M, Tsoi A C, et al. The graph neural network model [J].IEEE Transactions on Neural Network 2008》 中首次提出，它拓展了现有的深度神经网络模型，用于处理以图的形式表示的数据。图神经网络的目标是学习一个包含每个节点邻居信息的嵌入表示向量，以方便执行节点标签分类、链接预测、异常检测等任务。图神经网络被广泛应用于图分析和挖掘领域。

图卷积神经网络旨在将卷积推广到图领域，现有的图卷积神经网络分为谱方法和空间方法两大类。

基于谱方法的图卷积神经网络利用卷积定理在每一层定义图卷积算子，在损失函数指导下通过梯度反向回传学习卷积核，并堆叠多层组成神经网络。

基于空间方法的图卷积神经网络基本思想是利用图上的信息传播机制，通过信息构造、邻居聚集、表示更新3个步骤使用上一时刻相邻节点的状态信息。

§ 3. 基于多任务学习 CNN 辅助 Transformer 的手部 mesh 重建

作者 | 谢苏，张孙杰，王永雄，颜婷丽

单位 | 上海理工大学光电信息与计算机工程学院 ； 上海理工大学理学院

此文对当前手势姿态估计算法未充分利用 2D 信息辅助 3D 手部 mesh 重建的问题，首次在手部 Mask 、 2D 热力图的基础上提出引入 RGB 图像的 HOG （方向梯度直方图）特征图，通过多任务学习 CNN （卷积神经网络）的框架对 2D 信息进行特征提取，并针对手的拓扑结构进行信息融合增强。

此文设计了一种新的 MLP （ multi-layer perception ）（多层感知）模块嵌入 Transformer encoder 之间，达到嵌入的数量渐进增加以及其维度渐进减少的目的，从而完成手部 mesh 精细化的预测。

此文的目标是通过对多个 2D 视觉信息分布式进行特征提取，使用解码器预测输出相应的 2D 信息对原始 RGB 图像 进行信息增强来进一步提取更丰富的特征，最后使用带有 ENUDS_MLP 模块的 Transformer encoder 重建手部 mesh 并得到 21 个 3D 关节点。