论AI小游戏是怎么练成的——『寻物大作战』原理揭秘

AI诞生以来，应用在了各个场景来帮助人们提高效率，优化体验。而在娱乐领域，越来越多的电子游戏开始将AI技术与游戏结合。今天我们为大家带来『寻物大作战』小游戏，真是称得上小小的身体，大大的能量！只要在规定时间内寻找指定的物品即可完成任务，通过摄像头可智能识别找到的物品，简单方便，无论是朋友聚会还是亲子互动，都是活跃气氛的利器了！

只需在『微信』搜索小程序“PaddlejsPlugin”，或是扫描下面的二维码即可快速开始游戏。动动手指，快来挑战一下吧！

这个小游戏是由PaddleClas联合Paddle.js打造，下面小编就为大家揭秘在这背后究竟是何原理，让你也能轻松拥有自己的专属的AI小游戏！

总体来说“寻物大作战”小游戏背后所依赖的正是目前AI领域最热门的深度学习技术，通过一套端到端的图像分类模型来实现物体识别的效果。虽然听起来“高大上”，有了下面这两个开发神器的力量加持，对新手用户，甚至是小白用户可以说非常友好！这两个神器就是：（噔噔噔噔~）百度飞桨图像分类套件PaddleClas和基于JavaScript的深度学习前端推理引擎Paddle.js~

PaddleClas作为“开箱即用”的图像分类套件，拥有180+预训练模型，都只需经过简单配置，即可完成从训练到部署的全流程工作。

近年来，深度学习技术越发的火热，计算机视觉在生活中得到了越来越多的应用，但受制于深度学习技术对庞大算力的需求，其在手机等算力有限设备上的应用总是捉襟见肘，以图像识别任务为例，高精度的网络模型往往意味着高算力的需求，『寻物大作战』能够在手机小程序中实现，而且可以针对视频流实时推理，其背后正是PaddleClas近期所推出的轻量级CPU场景骨干网络模型PP-LCNet。

链接指路：

https://github.com/PaddlePaddle/PaddleClas

PP-LCNet模型以推理速度作为优化指标，特别针对Intel CPU平台所设计，同时兼顾ARM等移动端平台，在速度与精度的平衡上更为优秀，与现有SOTA模型相比，真正做到速度更快、精度更高。此外经过验证，PP-LCNet在目标检测、语义分割等下游视觉任务上同样具有优秀的性能。

Paddle.js是百度飞桨基于JavaScript的深度学习框架，也是国内首款开源前端智能框架。其应用环境不局限于浏览器，对小程序同样做了支持。通过Paddle.js运行AI模型，可以提供给用户高实时性、低延迟的体验，逐渐成为处理AI需求的更优解。在『寻物大作战』小游戏中，使用Paddle.js仅仅三个步骤就能赋予小程序AI能力。

轻松接入Paddle.js后，我们接下来看看在『寻物大作战』小程序上的最终实践效果。游戏要求玩家在规定时间内，利用手机摄像头，找出和题目匹配的物品。

主体实现思路可以归纳为，利用Paddle.js连续预测摄像头中的图像信息，判断和题目物品是否相符。仅仅几行代码就可以帮你实现！

不难分析出，推理运算耗时在一定程度上会影响游戏的流畅度。耗时越少，用户感受越好。我们在WebGL backend上对不同机型测试了推理耗时，在红米K30上单帧推理耗时仅为 32.1毫秒，iPhoneX为49.24毫秒，对比采用网络传输数据至服务端推理的方案，性能优势显而易见！在应对需要推理结果具有较好实时性的需求时，采用Paddle.js的方案将是更优的选择。

Paddle.js作为前端深度学习框架，还提供了模型转换、模型优化，性能工具和预训练模型库，包含人像分割、文字识别、手势识别及物品分类等模型的SDK， 提供开箱即用的 AI 能力，帮助用户快速实现 AI 效果。在性能方面通过算子融合、数据并行计算以及FP16量化等优化策略提升推理性能，给用户更好的使用体验。同时Paddle.js也提供了全套的模型加密方案保证用户模型安全。

说了这么多，感兴趣的小伙伴肯定迫不及待了吧~ 下面就送上我们的项目传送门：

https://github.com/PaddlePaddle/Paddle.js

开源不易，还请大家给我们的程序猿小哥哥一个Star的鼓励吧~

同时期待各位更多新的创意哦~

直播预告

11月1日，这款小游戏的作者将来到飞桨直播间，分享这款微信识物小游戏是如何炼成的，欢迎大家进群观看直播，进行技术交流喔。

直播精彩抢先看：

• 深度学习图像分类应用介绍；

• 识图小游戏模型原理揭秘；

• Paddle.js助力小程序快速推理；

• 模型训练部署一条龙上手。

直播时间：

11月1日 19:00-21:00

直播链接：

http://live.bilibili.com/21689802

（扫码入群，观看直播）

长按下方二维码立即

Star

更多信息：

1. 飞桨官方QQ群：793866180

2. 飞桨官网网址：

   www.paddlepaddle.org.cn/

3. 飞桨开源框架项目地址：

   GitHub:

   github.com/PaddlePaddle/Paddle 
   Gitee:

   gitee.com/paddlepaddle/Paddle

4. 欢迎在飞桨论坛讨论交流~~

   http://discuss.paddlepaddle.org.cn