用于手语识别的自注意力机制

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

小白导读论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。

摘要

提出了一种用于连续手语识别的注意网络。该方法利用相互独立的数据流对手语模态进行建模。这些不同的信息渠道可以在彼此之间共享一个复杂的时间结构。出于这个原因，我们将注意力应用于同步，并帮助捕获不同符号语言组件之间的相互依赖关系。尽管手语是多通道的，但手形是手语解释的中心实体。在正确的语境中看到手形可以定义符号的含义。考虑到这一点，我们利用注意机制来有效地聚合具有适当时空背景的手部特征，从而更好地进行符号识别。我们发现，通过这样做，该模型能够识别围绕支配手和面部区域的基本手语成分。我们在rth - phoenix - weather 2014基准数据集上测试了我们的模型，得出了竞争结果。

本文创新点

本文提出了一种基于注意的序列符号语言比对识别方法。与以前的作品不同，我们的方法的独创性在于明确地从非手工手语组件中提取和聚合上下文信息。在没有任何领域注释的情况下，我们的方法能够在预测手势时独家识别与手势形状相