OpenCV简单粗糙的指尖检测方法（FingerTips Detection）

最新推荐文章于 2024-09-06 12:57:53 发布
最新推荐文章于 2024-09-06 12:57:53 发布
阅读量1.2w 收藏 30
点赞数 6
分类专栏： OpenCV
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/augusdi/article/details/8865589
版权

       在人机交互领域，如果可以比较好的检测指尖，对于交互的丰富度、灵活性来说是有很大提升的。目前指尖检测的方法也很多，我这里稍微尝试了下简单了两种。这两种方法都借助了手的几何特征，简单但比较粗糙，鲁棒性不够。

 

方法一：重心距离法

        见下图，红色点是手的重心，那么手的边缘的所有点与重心点的距离按顺时针方向或者逆时针方向遍历，就会出现五个峰值，分别是五个手指，这样我们就可以简单找到了。如果你是只伸出一两个手指，那么就只有一两个峰值了。

简单的代码如下：

1、对图像做高斯模糊；

2、肤色分割（背景不要有类肤色，如果有，就需要加其他信息来排除干扰）；

3、找到手轮廓；

4、计算矩，即重心；

5、寻找指尖。

// Simple FingerTips Detection  
// Author : Zouxy  
// Date   : 2013-3-23  
// HomePage : http://blog.csdn.net/zouxy09  
// Email  : zouxy09@qq.com  
  
#include "opencv2/opencv.hpp"  
  
using namespace cv;  
using namespace std;  
  
void skinExtract(const Mat &frame, Mat &skinArea);  
  
int main(int argc, char* argv[])  
{  
    Mat frame, skinArea;  
    VideoCapture capture;  
  
    capture.open(0);  
    if (!capture.isOpened())  
    {  
        cout<<"No camera!\n"<<endl;  
        return -1;  
    }  
  
    while (1)  
    {  
        capture >> frame;  
        //Mat frame = imread("fingertips(1).jpg");  
        if (frame.empty())  
            break;  
  
        skinArea.create(frame.rows, frame.cols, CV_8UC1);  
        skinExtract(frame, skinArea);  
        Mat show_img;  
        frame.copyTo(show_img, skinArea);  
  
        vector<vector<Point> > contours;  
        vector<Vec4i> hierarchy;  
  
        //寻找轮廓  
        findContours(skinArea, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE);  
  
        // 找到最大的轮廓  
        int index;  
        double area, maxArea(0);  
        for (int i=0; i < contours.size(); i++)  
        {  
            area = contourArea(Mat(contours[i]));  
            if (area > maxArea)  
            {  
                maxArea = area;  
                index = i;  
            }             
        }  
  
        //drawContours(frame, contours, index, Scalar(0, 0, 255), 2, 8, hierarchy );  
          
        Moments moment = moments(skinArea, true);  
        Point center(moment.m10/moment.m00, moment.m01/moment.m00);  
        circle(show_img, center, 8 ,Scalar(0, 0, 255), CV_FILLED);  
  
        // 寻找指尖  
        vector<Point> couPoint = contours[index];  
        vector<Point> fingerTips;  
        Point tmp;  
        int max(0), count(0), notice(0);  
        for (int i = 0; i < couPoint.size(); i++)  
        {  
            tmp = couPoint[i];  
            int dist = (tmp.x - center.x) * (tmp.x - center.x) + (tmp.y - center.y) * (tmp.y - center.y);  
            if (dist > max)  
            {  
                max = dist;  
                notice = i;  
            }  
  
            // 计算最大值保持的点数，如果大于40（这个值需要设置，本来想根据max值来设置，  
            // 但是不成功，不知道为何），那么就认为这个是指尖  
            if (dist != max)  
            {  
                count++;  
                if (count > 40)  
                {  
                    count = 0;  
                    max = 0;  
                    bool flag = false;  
                    // 低于手心的点不算  
                    if (center.y < couPoint[notice].y )  
                        continue;  
                    // 离得太近的不算  
                    for (int j = 0; j < fingerTips.size(); j++)  
                    {  
                        if (abs(couPoint[notice].x - fingerTips[j].x) < 20)  
                        {  
                            flag = true;  
                            break;  
                        }  
                    }  
                    if (flag) continue;  
                    fingerTips.push_back(couPoint[notice]);  
                    circle(show_img, couPoint[notice], 6 ,Scalar(0, 255, 0), CV_FILLED);  
                    line(show_img, center, couPoint[notice], Scalar(255, 0, 0), 2);               
                }  
            }  
        }  
  
        imshow("show_img", show_img);  
  
        if ( cvWaitKey(20) == 'q' )  
            break;  
    }  
  
    return 0;  
}  
  
//肤色提取，skinArea为二值化肤色图像  
void skinExtract(const Mat &frame, Mat &skinArea)  
{  
    Mat YCbCr;  
    vector<Mat> planes;  
  
    //转换为YCrCb颜色空间  
    cvtColor(frame, YCbCr, CV_RGB2YCrCb);  
    //将多通道图像分离为多个单通道图像  
    split(YCbCr, planes);   
  
    //运用迭代器访问矩阵元素  
    MatIterator_<uchar> it_Cb = planes[1].begin<uchar>(),  
                        it_Cb_end = planes[1].end<uchar>();  
    MatIterator_<uchar> it_Cr = planes[2].begin<uchar>();  
    MatIterator_<uchar> it_skin = skinArea.begin<uchar>();  
  
    //人的皮肤颜色在YCbCr色度空间的分布范围:100<=Cb<=127, 138<=Cr<=170  
    for( ; it_Cb != it_Cb_end; ++it_Cr, ++it_Cb, ++it_skin)  
    {  
        if (138 <= *it_Cr &&  *it_Cr <= 170 && 100 <= *it_Cb &&  *it_Cb <= 127)  
            *it_skin = 255;  
        else  
            *it_skin = 0;  
    }  
  
    //膨胀和腐蚀，膨胀可以填补凹洞（将裂缝桥接），腐蚀可以消除细的凸起（“斑点”噪声）  
    dilate(skinArea, skinArea, Mat(5, 5, CV_8UC1), Point(-1, -1));  
    erode(skinArea, skinArea, Mat(5, 5, CV_8UC1), Point(-1, -1));  
}

方法二：曲率分析法

       见下图，可以看到，在指尖和两指之间的凹槽的曲率是最大的。假设手的轮廓是通过一系列点{Pi}来保存的，那么我们可以通过 [Pi, Pi-k] 和 [Pi, Pi+k] 两个向量的内积（点乘）来寻找高曲率的点，如下图的Φ和β的计算结果，因为他们的两个向量的夹角趋向于90度，也就是它们的内积趋向于0，所以内积结果越小，曲率越大，我们只需要设置一个阈值，就可以把手的指尖和两指之间的凹槽都可以找到。

       那么如何分辨指尖和两指之间的凹槽呢？我们可以通过两个向量的叉乘来计算，我们想象下手处于3D空间中，那么就还有一个z方向，β中两个向量的叉乘是大于0的（叉乘方向垂直纸面朝向你，z轴正方向），而Φ处的叉乘是小于0的（叉乘方向垂直纸面远离你，z轴负方向）。

        综上，通过在每个点上构造两个向量，比较他们的点乘和叉乘就可以确定指尖了。

简单的代码如下：

1、对图像做高斯模糊；

2、肤色分割（背景不要有类肤色，如果有，就需要加其他信息来排除干扰）；

3、找到手轮廓；

4、寻找指尖。

// Simple FingerTips Detection Using Curvature Determination  
// Author : Zouxy  
// Date   : 2013-3-23  
// HomePage : http://blog.csdn.net/zouxy09  
// Email  : zouxy09@qq.com  
  
#include "opencv2/opencv.hpp"  
  
using namespace cv;  
using namespace std;  
  
void skinExtract(const Mat &frame, Mat &skinArea);  
  
int main(int argc, char* argv[])  
{  
    Mat frame, skinArea;  
    VideoCapture capture;  
  
    capture.open(0);  
    if (!capture.isOpened())  
    {  
        cout<<"No camera!\n"<<endl;  
        return -1;  
    }  
  
    while (1)  
    {  
        capture >> frame;  
        //Mat frame = imread("fingertips(1).jpg");  
        if (frame.empty())  
            break;  
  
        GaussianBlur(frame, frame, Size(3, 3), 0);  
        skinArea.create(frame.rows, frame.cols, CV_8UC1);  
        skinExtract(frame, skinArea);  
        Mat show_img;  
        frame.copyTo(show_img, skinArea);  
  
        vector<vector<Point> > contours;  
        vector<Vec4i> hierarchy;  
  
        //寻找轮廓  
        findContours(skinArea, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE);  
  
        // 找到最大的轮廓  
        int index;  
        double area, maxArea(0);  
        for (int i=0; i < contours.size(); i++)  
        {  
            area = contourArea(Mat(contours[i]));  
            if (area > maxArea)  
            {  
                maxArea = area;  
                index = i;  
            }             
        }  
  
        //drawContours(frame, contours, index, Scalar(0, 0, 255), 2, 8, hierarchy );  
          
        Moments moment = moments(skinArea, true);  
        Point center(moment.m10/moment.m00, moment.m01/moment.m00);  
        circle(show_img, center, 8 ,Scalar(0, 0, 255), CV_FILLED);  
  
        // 寻找指尖  
        vector<Point> couPoint = contours[index];  
        int max(0), count(0), notice(0);  
        vector<Point> fingerTips;  
        Point p, q, r;  
        for (int i = 5; (i < (couPoint.size() - 5)) && couPoint.size(); i++)  
        {  
            q = couPoint[i - 5];  
            p = couPoint[i];  
            r = couPoint[i + 5];  
            int dot = (q.x - p.x ) * (q.y - p.y) + (r.x - p.x ) * (r.y - p.y);  
            if (dot < 20 && dot > -20)  
            {  
                int cross = (q.x - p.x ) * (r.y - p.y) - (r.x - p.x ) * (q.y - p.y);  
                if (cross > 0)  
                {  
                    fingerTips.push_back(p);  
                    circle(show_img, p, 5 ,Scalar(255, 0, 0), CV_FILLED);  
                    line(show_img, center, p, Scalar(255, 0, 0), 2);      
                }  
            }  
        }  
  
        imshow("show_img", show_img);  
  
        if ( cvWaitKey(20) == 'q' )  
            break;  
    }  
  
    return 0;  
}  
  
//肤色提取，skinArea为二值化肤色图像  
void skinExtract(const Mat &frame, Mat &skinArea)  
{  
    Mat YCbCr;  
    vector<Mat> planes;  
  
    //转换为YCrCb颜色空间  
    cvtColor(frame, YCbCr, CV_RGB2YCrCb);  
    //将多通道图像分离为多个单通道图像  
    split(YCbCr, planes);   
  
    //运用迭代器访问矩阵元素  
    MatIterator_<uchar> it_Cb = planes[1].begin<uchar>(),  
                        it_Cb_end = planes[1].end<uchar>();  
    MatIterator_<uchar> it_Cr = planes[2].begin<uchar>();  
    MatIterator_<uchar> it_skin = skinArea.begin<uchar>();  
  
    //人的皮肤颜色在YCbCr色度空间的分布范围:100<=Cb<=127, 138<=Cr<=170  
    for( ; it_Cb != it_Cb_end; ++it_Cr, ++it_Cb, ++it_skin)  
    {  
        if (138 <= *it_Cr &&  *it_Cr <= 170 && 100 <= *it_Cb &&  *it_Cb <= 127)  
            *it_skin = 255;  
        else  
            *it_skin = 0;  
    }  
  
    //膨胀和腐蚀，膨胀可以填补凹洞（将裂缝桥接），腐蚀可以消除细的凸起（“斑点”噪声）  
    dilate(skinArea, skinArea, Mat(5, 5, CV_8UC1), Point(-1, -1));  
    erode(skinArea, skinArea, Mat(5, 5, CV_8UC1), Point(-1, -1));  
}

效果：



 

基于MATLAB的人手手指指尖的图像采集与检测
01-20
基于MATLAB的指尖检测，使用MATLAB2015开发。课程设计作业。通过凸包定位指尖。有完整的GUI界面。
简单粗糙的指尖检测方法（FingerTips Detection）
热门推荐
zouxy09的专栏
03-23 2万+
简单粗糙的指尖检测方法（FingerTips Detection） zouxy09@qq.com http://blog.csdn.net/zouxy09          在人机交互领域，如果可以比较好的检测指尖，对于交互的丰富度、灵活性来说是有很大提升的。目前指尖检测的方法也很多，我这里稍微尝试了下简单了两种。这两种方法都借助了手的几何特征，简单但比较粗糙，鲁棒性不够。   方
OpenCV结构分析与形状描述符（9）检测轮廓相对于其凸包的凹陷缺陷函数convexityDefects()的使用
最新发布
jndingxin的专栏
09-06 733
convexityDefects 是 OpenCV 库中的一个函数，用于检测轮廓相对于其凸包的凹陷缺陷。这个函数可以帮助识别轮廓中的凹进去的部分，通常被用来分析手部或其他物体的形状特征。
opencv和mediapipe实现手势识别
weixin_41747193的博客
12-23 1万+
本篇文章只是手势识别的一个demo，想要识别的精度更高，还需要添加其他的约束条件，这里只是根据每个手指关键点和手掌根部的距离来判断手指是伸展开还是弯曲的。关于mediapi pe的简介，可以去看官网：https://google.github.io/mediapipe/，官网有现成的demo程序，直接拷贝应用就可以实现手掌21个关键点的识别，这21个关键点的分布如下： 而且，检测的实时性也非常的不错： 当然，mediapipe不止可以检测手势，面部检测，姿态检测都可以： ...
用最大距离判定的指尖检测算法（Python代码+OpenCV库，可直接运行）
qq_28005905的博客
08-28 3006
用最大距离判定的指尖检测算法（Python代码+OpenCV库，可直接运行）1 编译环境2 原理介绍2.1 指尖检测应用2.2 实现原理2.3 实现步骤3 代码4 运行结果如下5 总结 1 编译环境 编程语言：Python IDE：PyCharm 2017 OpenCV库 2 原理介绍 2.1 指尖检测应用 指尖检测应用范围非常广，常见应用如手势识别、人机交互等等领域， 2.2 实现原理 1、首先...
指尖点读功能1：指尖和笔尖检测算法实现
AI吃大瓜的博客
11-29 1221
指尖点读功能，指尖和笔尖检测算法实现，实现笔尖指尖检测功能
opencv检测直线方法之形态学方法
08-26
下面是使用形态学方法检测直线的代码示例： ```cpp Mat element1 = getStructuringElement(MORPH_RECT, Size(70, 1)); Mat element3 = getStructuringElement(MORPH_RECT, Size(1, 55)); morphologyEx(image, ...
python opencv人脸检测提取及保存方法
12-24
opencv人脸的检测模型的路径也要更改为自己安装的opencv的人脸检测模型的路径 import cv2 save_path = 'F:\\face_photo_save\\chenym\\' cascade = cv2.CascadeClassifier("D:\\opencv249\\opencv\\sources\\data\\...
基于Opencv的机器视觉缺陷检测、印刷检测
07-08
总之，结合OpenCV进行机器视觉缺陷检测和印刷检测是一种高效且精确的方法，通过提供的可执行文件，用户可以直观地了解该技术的实际应用效果。这不仅有助于技术学习，也为实际生产环境中的质量控制提供了有力支持。
python版opencv摄像头人脸实时检测方法
12-25
OpenCV版本3.3.0，注意模型文件的路径要改成自己所安装的opencv的模型文件的路径，路径不对就会报错，一般在opencv-3.3.0/data/haarcascades 路径下 import numpy as np import cv2 face_cascade = cv2....
opencv二维码定位图案检测（c++)
03-28
在本文中，我们将深入探讨如何使用OpenCV库在C++环境中进行二维码定位图案的检测。OpenCV（开源计算机视觉库）是一个强大的工具，广泛应用于图像处理和计算机视觉领域，包括二维码检测。 首先，二维码（Quick ...
【图像检测】手指指尖的图像采集与检测附matlab代码
qq_59747472的博客
02-24 2361
1 简介 为克服传统二维彩色图像处理算法易受周围环境,光照变化,背景等因素的影响,提出利用计算机视觉信息,实现一种快速鲁棒的手势分割与指尖检测算法.首先,根据计算机视觉信息对非人体部分图像进行筛选,得到包含人手的人体图像;然后对当前得到的人体图像进行直方图分析,计算能够区分人手与非人手的阈值,并通过该阈值对人体图像进行分割得到人手图像;最后,对人手图像进行形态学处理,计算掌心位置,并提取手部轮廓,结合人手轮廓关键几何特征对指尖进行有效检测.实验表明,该方法能够实时,有效地对指尖进行检测.​ 2 部分代码
kinect指尖识别
Lixam的专栏
05-17 9077
kinect指尖识别 来源： 张维祥的日志 对于普通摄像头下的手指识别，大多是基于模板匹配，神经网络和统计分析甚至于借助颜色指套等进行，但因为环境干扰太多，识别效果不好，而且大多只能识别手整体的运动，而不能识别手指的运动。本文是基于kinect摄像头实现的，由于它支持深度图像，可以排除复杂的背景，而且支持例如openNI和win SD
指尖检测算法
siliang13的专栏
11-21 6631
本文转载自http://blog.csdn.net/onezeros/article/details/6196095 指尖检测根据应用可以分为单指尖检测和多指尖检测。 下面是我在工作中想到的方法，希望对你有用或提供点儿灵感。   单指尖检测新方法：重心距离法 找到手的区域，我一般用肤色检测计算手的区域的重心在手的区域的边缘点集中寻找距离重心最远的点，该点即为指尖候选位
手指和手势识别算法原理和解析
zpeien
03-30 8671
1、问题陈述 我们将从视频序列中识别手势。为了从实时视频序列中识别这些手势，我们首先需要单独取出手部区域，以去除视频序列中所有不需要的部分。在分割手部区域之后，我们对视频序列中显示的手指进行计数，以基于手指计数来指示机器人。因此，可以使用2个简单的步骤解决整个问题 １．从视频序列中找到并分割手部区域。 ２．从视频序列中分割的手区域计算手指的数量。 2、分割手区域 手势识别的第一步显然是通过消除视频序列中所有其他不需要的部分来找到手部区域。起初这似乎令人恐惧。但是不用担心。使......
matlab 手指指尖检测,简单粗糙的指尖检测方法（FingerTips Detection） | 学步园
weixin_39883091的博客
03-20 591
简单粗糙的指尖检测方法(FingerTips Detection)在人机交互领域，如果可以比较好的检测指尖，对于交互的丰富度、灵活性来说是有很大提升的。目前指尖检测的方法也很多，我这里稍微尝试了下简单了两种。这两种方法都借助了手的几何特征，简单但比较粗糙，鲁棒性不够。方法一：重心距离法见下图，红色点是手的重心，那么手的边缘的所有点与重心点的距离按顺时针方向或者逆时针方向遍历，就会出现五个峰值，分别...
指尖识别
weixin_30677617的博客
07-23 293
指尖识别功能，演示视频是基于kinect深度相机的检测和识别。 转载于:https://www.cnblogs.com/CVArt/p/3208554.html
【去后厂村摆摊吧】基于Jeston Nano部署（可用PC代替）的实时预览美甲机
m0_63642362的博客
10-07 985
【创造营第三期项目】本项目基于Jeston Nano（可用PC代替），对摄像头画面进行实时渲染，展示手指做过美甲的样子，支持纯色/自选图案美甲~涵盖了...实在写不下了，反正很多很多
使用OpenCV实现多指尖手势检测技术
在本节内容中，我们将深入探讨标题中提到的“fingertips_opencv_Vc_”所关联的IT知识点，包括OpenCV在手势检测和多指尖检测中的应用，以及***作为开发环境的相关技术细节。 首先，让我们来解释一下什么是OpenCV。...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值