OpenPose 基于OpenCV DNN 的手部关键点检测

原文：OpenPose 基于OpenCV DNN 的手部关键点检测 - AIUAI

手部关键点检测，旨在找出给定图片中手指上的关节点及指尖关节点. 其类似于面部关键点检测(Facial Landmark Detection) 和人体关键点检测(Human Body Pose Estimation)；不同之处是，整个手部是作为一个目标物体的.

OpenPose 基于OpenCV DNN 的单人姿态估计 - AIUAI

OpenPose 基于OpenCV DNN 的多人姿态估计 - AIUAI

手部关键点检测的应用场景包括：

[1] - 手势识别

[2] - 手语识别与理解

[3] - 手部的行为识别等.

1. Background

主要是基于 CMU Perceptual Computing Lab 开源的手部关键点检测模型.

Github - OpenPose

手部关键点检测器的实现主要是基于论文：Hand Keypoint Detection in Single Images using Multiview Bootstrapping - CVPR2017.

其中，如下：

论文中，首先采用少量标注的人手部关键点图像数据集，训练类似于人体姿态关键点所使用的 CPM - Convolutional Pose Machines 网络，以得到手部关键点的粗略估计. 采用了 31个 HD 高清摄像头 从不同的视角对人手部进行拍摄.

然后，将拍摄图像送入手部关键点检测器，以初步得到许多粗略的关键点检测结果. 一旦有了同一手部的不同视角的关键点，则构建关键点测量(Keypoint triangulation)，以得到关键点的 3D 位置. 关键点的 3D 位置被从 3D 重新投影到每一幅不同视角的 2D 图片，并采用 2D 图像和关键点，进一步训练网络.，以鲁棒的预测手部关键点位置. 这对于关键点难以预测的图片而言是尤其重要的. 采用这种方式，通过少量几次迭代，即可得到较为准确的手部关键点检测器.

总而言之，关键点检测器和多视角图像(multi-view images) 一起构建了较为准确的手部关键点检测模型. 采用的检测网络类似于人体关键点中所用的网络结构. 进度提升的主要因素是采用了多视角图片标注图片数据集.

手部关键点检测模型共输出 22 个关键点，其中包括手部的 21 个点，第 22 个点表示背景. 如图：

Github 项目 - OpenPose 关键点输出格式 - AIUAI

2. 具体实现

2.1. 手部关键点检测模型下载

[1] - hand/pose_deploy.prototxt

[2] - hand/pose_iter_102000.caffemodel

2.2. Python 实现

#!/usr/bin/python3
#!--*-- coding: utf-8 --*--
from __future__ import division
import os
import cv2
import time
import numpy as np
import matplotlib.pyplot as plt


class general_pose_model(object):
    def __init__(self, modelpath):
        self.num_points = 22
        self.point_pairs = [[0,1],[1,2],[2,3],[3,4],
                            [0,5],[5,6],[6,7],[7,8],
                            [0,9],[9,10],[10,11],[11,12],
                            [