Intel Perceptual Camera体验之旅

最新推荐文章于 2021-12-25 10:00:03 发布

柴桑

最新推荐文章于 2021-12-25 10:00:03 发布

阅读量5.9k

点赞数

本文链接：https://blog.csdn.net/dscky/article/details/8933208

版权

最近有幸体验了一把intel的体感计算SDK的开发，有了一些感受和想法，记录在这里，希望对大家有所启发。

众所周知，苹果在移动领域大规模使用触屏技术后，人机交互方式发生了质的变化，不能说一定有多好，但是足够新鲜，其用户体验做的也不错，能够满足一般使用者的需求，目前，移动设备都延续了触屏的操作，甚至现在的pc，超极本等，也都有采用这项技术的。另外，这种方式，等于打开了一扇门，所有的同行们，一方面迅速跟进，另一方面，也期望能够在此基础上，百尺竿头，更进一步。移动应用方面，《神的指意》，增加了手势识别的类型，《稻草人》，增加了脸部识别的技术，pc方面，微软推出了kinect技术，用于姿势捕捉，intel推出了体感计算sdk，包括了脸部识别和手势判断的技术。

一：体验

Intel的体感计算包含了：软件开发的SDK、一个包含2个镜头的摄像头设备、一系列应用。SDK和应用软件都可以在网上下载到，文章末尾我会给出链接。这个摄像头的话，网上有卖的，150美刀，我这边是朋友给试用的。SDK中，包括了一系列的用于声音、脸部、手势的检测和识别的exe、demo和sample。大概看了一下，有13个sample和4个demo程序，SDK的开发语言应该是C++的，包含了所必需的lib库和一组include文件，实现了包括：摄像头数据采集、三维景深处理，以及接口功能实现等必须内容，SDK的framework里面提供了C#、JAVA和Unity的一些内容，应该是支持这3个语言和平台的开发的。

上图就是关键硬件：体感摄像头。大家也可以看出来，2个摄像头，类似人的双眼的效果，可以产生深度信息，通过深度信息，可以分析人的一些手势操作。将摄像头放到电脑的上方夹住，对准人的方向，usb接口插入后，就可以进行脸部和手的操作摄像了。

将设备接好后，安装好SDK----intel_pc_sdk_offline_setup_7383.exe，首先运行Capture Viewer程序，检查设备和SDK是否正常工作，，选择一个audio stream、color stream、depth stream源后，点击display，查看一下设备是否接入正常，有3个窗口，分别是视频图，深度图，音波图。可以分别做一些动作和发出一些声音，如果图像有变化，说明设备正常工作。

SDK里面大概有18个左右的exe程序，分别用于检测和识别声音、脸部以及手势的。兴趣原因，我只对脸部和手势部分进行了实验。

脸部识别的有face_detection.exe和face_recognition.exe程序，分别用于检测和识别脸部信息的，从图像来看，应该使用的是6点来确定人脸的，分别是左眼2点，右眼2点，嘴巴2点。

gesture_viewer.exe是用于检测和识别手势的，从SDK的介绍（GettingStarted.pdf）和实测结果来看，对两只手、脸离摄像头的距离，以及他们之间，还是有一定的要求的，最重要的是：两只手、脸三者之间在屏幕上是不能有重合的，重合的话，会干扰检测和识别的准确性，会出现识别不出的问题。

下面说说一些demo的体验结果。

Lightning：这个程序蛮有意思，检测到有手指头后，会在手指头之间形成闪电连线，有多少个手指头，就有多少根连线，而且有粗细之分。挺好玩的。

Kung Pow Kevin是一个学习型的简单游戏，由一个类似忍者的田鼠，教你做各种手势动作，要跟着它一起来做，作对的话，就能得分，最后看得分多少，有个排行榜。比如：它把右手伸出的时候，你也要对着相同的位置，伸出左手，然后就会得到120分。也是挺有想法的一个小游戏，这个主要是检测手势。

Ballista是一个体感技术和Unity3d相结合的游戏，用手势控制一个投掷器，投出石头来击毁建筑，有点类似于3d版的愤怒的小鸟。这个也是检测手势。

Solar是一个小型的银河系，随着人的手势一张一合，张开双手的时候，银河系砰然显示，合上之后，就会消失。这个也是手势识别的应用。

Million Minions是一个挺有想法的游戏，画面卡通，很棒。过关式的游戏类型，整个画面是一个道理，有怪从路的那边跑到屏幕这边来，每当有怪物跑到跟前时，需要用手从上往下挥动，好像铁锤一下，把怪物砸个稀巴烂，如果漏过去的怪物多的话，就会失败。这个同样是手势识别的应用。

Head Coupled Display是用人脸的上下左右摆动来控制视野的上下左右旋转的一个实例，这个是人脸检测和运动轨迹识别的一个应用。

二：结论

就我目前的工作经历和上述的一个体验来看，首先，intel做的SDK还是蛮有诚意的，对开发者来说，也足够友好。例如：它做了多个开发语言的示例（C++、C#、JAVA），它做了PC和移动平台的兼容(unity和jni)，它提供了大量的sample和demo来引导开发者。其次，从技术角度来说，目前这版SDK还存在一些瑕疵。例如：有些游戏检测的不够准确；有些应用运行的很卡，滞后很大，体验不太好；对人脸和双手的运动做了限制，比较难于控制。最后，制约体感技术大规模应用的因素还有一些。例如：摄像头有点偏贵；缺乏使用这项技术的大作来带动。就像愤怒的小鸟催进了物理引擎技术的大规模应用，小鳄鱼爱洗澡提升了流体技术的使用。很多游戏不够自然出彩，有点像为使用技术而构思一个游戏一样。

三：展望

随着体感技术的发展和推进，一方面是技术的成熟度增加，比如：处理精度和准确度，处理速度。一方面是市场推广的持续热度，比如：intel举办的感知大赛（http://intelperceptual.csdn.net/）。相信这项技术得到更多技术人和公司的重视和研究。我在网上大概搜索了一下，国内外也有不少这方面的技术研究和交流。作为一个移动互联网的从业人员，说不定下一个类似愤怒的小鸟的游戏就是用这项技术开发的呢！期待更多人能够投入这项技术的研究，共同推进，共同完善。

四：参考链接

关注体感技术后，也在网上看了一些资料，有些是比较浅的，介绍性的，有些是比较深的，直接有code，有demo的，有兴趣的，可以看看。

http://cio.zdnet.com.cn/cio/2013/0415/2154248.shtml

http://tech2ipo.com/55770

https://perceptualchallenge.intel.com/#lang/zh

http://www.rozengain.com/blog/2013/01/30/ogre-3d-and-the-intel-perceptual-computing-sdk-creative-gesture-camera/

https://github.com/MadSciLabs/PXCU_demos/

http://software.intel.com/sites/campaigns/perceptualshowcase/

http://software.intel.com/en-us/vcsource/tools/perceptual-computing-sdk

http://doc-ok.org/?p=497

http://madsci.havasworldwide.com/2013/01/10/intel-perceptual-computing-sdk-demo-001-hands-and-fingers/

http://software.intel.com/en-us/blogs/2013/04/02/gdc-2013-perceptual-computing-html5-havok-and-more