mediapipe演示(javascript版)

MediaPipe 是 Google 的开源框架,前段时间进行了一番探索,发现此开源非常良心,而且包含了篇各种应用教程:

  • Android、iOS、Python、JavaScript、C++

为了好玩儿,也希望最后的效果能被家里人也体验到,于是打算试用JavaScript版本,这样便能将其嵌入个人网站,并且是以静态网页的方式进行呈现,对于贫困如我没办法自己租赁服务器的同学们来说是再好不过了,这样基于GitHub搭建的网站也能进行功能的展示了

体验网址注:点击进入网页后检测到人脸会有声音警报,这是之前进行的警报尝试,并未关闭,切换至其他检测项目即可
https://lujiazho.github.io/assets/mediapipe/dev_face.html

电脑端测试良好,Android端根据不同机型可能会有不同程度的页面变形(因为没有太多的响应式布局),IOS无法正常使用

部分效果如下
在这里插入图片描述
手部关键点检测
在这里插入图片描述
可见手指关键上原点大小不一,深度信息也被检测到了

应用延伸:基于这样的实现后,可以做的事情就有很多了
1、将检测到的关键点信息通过javascript网络编程可以发送到unity中,进行3d模型控制,当然目前并没有去实现,只是一个idea,如果不行,也可以采用c++版
2、既然能做到检测信息的传递,那也能利用其进行各种控制,比如防盗,当你住一楼时,检测到有人离窗户很近,则产生警报
当然还有很多应用方式,大家可以自行脑洞

代码一个多月没看,昨晚终于把错误找着了。这个演示程序能识别上下左右、西南、东南、正方形等,识别率很高。在线演示地址是ai-demo.appspot.com。 这个算法原理很好理解,好比老师让学生背诵课文,老师要达到的目的是“学生背过课文”,相对应的,软件要达到的目的是“我们把鼠标向左移动”显示“左”。老师第一次对学生说,你把课文背一遍,学生磕磕绊绊,老师说不通过接着告诉同学背课文的技巧等等,然后学生回到作为继续背课文。下节课,老师又对这个学生说,你把课文背一遍,学生背还是不很流畅,老师又说不通过,然后学生再回去背……,直到最后一次背课文,老师说OK,这就算达到目的了。 同样,软件识别鼠标手势也是一样,“鼠标向左移动手势”输入到算法中,程序检查算法计算结果,如算法输出果结果距离“左”差很远,那么不通过,程序就告诉算法,你要继续改进。如此循环,直到算法输出结果跟输入手势非常接近了,程序说通过了,那么就达到目的了,也就意味着这个算法就可以识别出“左”了!同样,也可以把“右”识别出来。 这个算法在神经网络中叫“有监督的训练方法”也叫“反向传播”。目前我对这个算法就这么些理解了。里边还有很多东西有待研究。但是,能把书中的例子改成 JavaScript本,我就非常高兴了!有兴趣的也可以看看这本《游戏编程中的人工智能技术》,我自古讨厌数学,而且讨厌公式,而人工只能就需要数学,但这本书讲的确实非常好! 这个程序里边并没有训练方法,我只是把书中训练好的数据提取出来,直接输入到JavaScript写的神经网络里,这样一打开程序就能直接识别,否则还得训练,就现在javascript的执行效率,这不得到猴年马月去了! 程序用了一个js游戏库,名字叫jsgamesoup,里边的画图是HTML5语法的,在IE6下支持不太好,在IE8下运行也很顺畅。
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值