KIENCT指尖检测项目原理与资源汇总

本博客是关于个人项目基于KINECT的动态手指跟踪的信息汇总与原理介绍
实现思路：
利用KINECT的骨骼信息与深度信息提取出手部轮廓区域，在提取手部轮廓区域后，在对手部轮廓区域进行特征提取，获得指尖信息，利用追踪到的指尖可以完成许多后续的任务，譬如：
1.将手指尖的的位置赋值给鼠标，可以做到实时操控鼠标，再加多一个识别动作，譬如抬起左手，当左手的关节点位置高于肩膀关节点位置时实现撤回操作，也可以自己写代码识别指尖往下垂两下代表点击操作。
点击的实现思路为：
检测到的手指尖点的像素位置Y在短时间内小腹增大两次代表点击（因为计算机图像中物体的Y位置越大物体越靠近图像底部）
在github上有一个成熟的项目，他的实现思路是：当手指距离墙壁的距离小于一定距离时，实现点击操作，这位大神的项目做起来展示时可以非常的炫酷，看上去就像在墙壁上直接操作投影在墙壁上的图像。
不过检验得到，该项目受到环境的干扰很大，一定要保证周围无其他干扰物，要保证KINECT的有效视野中无其他物体。
这里贴出大神项目的github地址：
https://github.com/Beginner258/Kinect_Projection_Operation
2.这个思路是为我后续项目提供一定的数据，因为我们现在已经可以提取得到手指尖的位置了，有了一个会追踪你的手指尖的点坐标你就可以实现你在生活中其他需要用手指尖来干的事情了。
这里我们用手指尖来写数字并实时绘制出，然后保存到文件夹中供给给后续的分类器识别

下面来讲讲实现的原理以及KINECT与OPENCV的资料汇总：
首先，KINECT可以获取得到深度图像以及人体骨架信息，具体的代码看以下博客：
https://blog.csdn.net/zmdsjtu/article/details/52275879

博主得到了人体骨架的信息，以及人体骨骼关节点，调用每个骨骼关节点就能够获取骨骼关节点的XY与深度信息
此时要访问你想访问的骨骼关节点还需要知道该骨骼关节点对用的代号参照下面博客：
https://blog.csdn.net/shaynerain/article/details/78564036

通过以上博客你现在可以得到手掌关节点的深度信息，这时我们在这里加一个带通滤波，也就是基于该深度阈值前后10cm内的物体赋值为白色，其他物体赋值为黑色。于是提取手部轮廓完成，注意到此时的图像因为KINECT获取数据的原因，会有一定的椒盐噪声，这时我们采取最常用来去除椒盐噪声的中值滤波来完成，中值滤波可以直接通过OPENCV来调用

这时我们可以获得无噪声的手部轮廓区域了

接下来开始提取指尖信息，具体如何提取指尖信息，参照以下博客，该博客是一种启发性的算法，但是效果十分好
https://blog.csdn.net/Real_Myth/article/details/51206453

至此，指尖检测完成

下面贴出本人在学习期间整理的博客资料，这些资料都是对本人学习做项目有积极影响的：
https://blog.csdn.net/qq_35409640/article/details/75212236如何控制鼠标
https://blog.csdn.net/baolinq/article/details/52401116MFC显示Kinect获取的数据
https://blog.csdn.net/jiaojialulu/article/details/53088170KINECT坐标映射，C#实现
https://blog.csdn.net/tanmengwen/article/details/8129311KIENCT实时手势识别的几种方法，用来扩展思路
https://blog.csdn.net/u012700322/article/details/51821249利用KInect生成三维点
https://blog.csdn.net/baolinq/article/details/52356947KIENCT入门开发与相关资料
https://blog.csdn.net/xiao__run/article/details/80572523 python_opencv画出追踪到的轨迹
https://blog.csdn.net/wx7788250/article/details/70261615 OPENCV将单通道的MAT转化为3通道的MAT

再次感谢各位博主们