深度学习-基于Mask R-CNN的瑜伽动作识别

**计算机系统的介绍

一 概要

  职业运动员对体能锻炼和体育技术的追求从未停止探索，各个年龄阶段的人对体育运动都愈发重视。专业运动员可以通过自动或半自动系统来辅助训练，提高训练成效，热爱运动的普通人则可以通过合适的系统进行自学以及纠正训练。这样的需求鼓舞了研究人员致力于将人工智能与运动领域相结合。本文则主要针对健身运动领域中的瑜伽运动识别进行研究。
根据目标检测的任务要求，分析常见的特征提取与识别分类的经典卷积神经网络。考虑到网络深度加深容易导致梯度消失问题，本文使用深度残差网络作为主干网络进行识别检测。深度残差网络由多个残差块级联而成，改进残差网络是在经典残差单元的基础上加入批归一化层，提高网络学习能力与性能。并使用人脸关键点检测数据集进行改进深度残差网络的验证。
  基于瑜伽动作识别的图像任务，提出了一种基于Mask RCNN 的瑜伽动作识别方法。网络基于区域卷积网络的框架与结构，通过特征提取对图像提出一定数量的候选区域并对其进行分类，然后将这些区域作为检测到的边界框输出，榆次同时使用分割分支做掩膜预测。该模型使用改进深度残差网络作为特征提取主干网络，使用 ROIAlign 对提取到的候选区域进行处理选择，之后进行目标分类与检测，此处并行增加分割分支对图像分割。模型改进了分割分支中的卷积部分，用深度可分离卷积替换原来的标准卷积，提高网络效率。实验构建多边形标注的数据集，利用算法进行仿真。网络的加深以及深度可分离网络的使用在保持网络可靠性的基础上，提高了检测的准确度，验证了改进Mask R-CNN网络的有效性。

关键词：深度学习；Mask R-CNN；目标检测；实例分割；瑜伽动作

二、绪论

1.1研究背景及意义

  目标检测作为计算机视觉领域基础且重要研究任务之一，是自动驾驶[8]图像理解与分析、行为识别[9]、以及等智能监控[7]等方向的前提。于此同时，在许多更进一步的视觉分析和处理的研究领域中，目标视觉检测也是其重要基础[10]。
  目标检测任务在多年研究探索的基础上，逐渐地从由较为简单的线段构成[11]，到行人[12] 、人脸等形体状态较为固定统一的物体检测，再到场景多变、形状不同的普遍性物体检测[13]。目标检测在发展中产生了逐渐成熟的算法，检测算法也具有了日渐提高的鲁棒性，深度学习技术[14]在计算机视觉领域取得了较大的突破。目标检测任务中一次得到显著的效果提升在2013 年，应用了深度学习的方法，所以当前主流的目标检测算法主要使用深度学习[15]，即传统[16]目标检测算法一般指 2013 年之前还未应用深度学习的检测方法。因此，目标检测算法包括两种类型，一种特征基于手工设计的传统目标检测算法，另一种深度学习目标检测算法则基于自主学习特征[17]。
  传统目标检测一般基于滑动窗口扫描策略，主要包括区域候选、特征提取、分类器设计三个主要步骤。设计有效的特征一直是传统目标检测的研究重点。特征的设计也从基于图像原始像素特征阶段，向具有局部尺度不变性的特征描述子阶段发展。常见的手工特征有基于像素块的 Harr 小波特征[18]、局部二值模式（LBP）、尺度不变特征变化（SIFT）、方向梯度直方图（HOG）等。
  使用深度学习的目标检测框架并逐渐衍生出基于候选区域和基于回归的深度学习目标检测算法两种主要分支。基于候选区域的深度学习目标检测算法精度高，检测速度较慢。因此，基于回归方法的目标检测算法则具有较高的检测速度。其中具有代表性的基于回归的目标检测方法主要有YOLO[19]、SSD[20]等算法。
  基于深度学习的候选区域提取算法有效的解决了滑窗策略复杂度高、窗口冗余等问题。候选区域思想是利用图像中的纹理、边缘以及颜色等特征信息，预先找到图像中可能包含的所有目标的位置，可以保证在提取较少窗口的前提下，获得较高的召回率，大大的减少了后续检测操作的时间复杂度，并且所获取的候选窗口比滑动