人机交互任务需要对手势、肢体动作、表情进行识别?
安防、交通等场景需要进行异常行为检测?
那关键点检测是你绝不能错过的核心技术!
它能帮你实现精准的人机交互任务,如手势控制、智能健身、体感游戏, 并完成交通违规行为识别、打架斗殴行为识别、安全合规操作检测等关键任务!
以上视频引用于公开数据[1][2][3][4]
古语云:工欲善其事,必先利其器!要高质量实现关键点检测任务,没有利器怎么能行!今天给大家奉上的这个开源算法—PP-TinyPose,仅凭端侧微弱算力,使用飞桨轻量化推理引擎 Paddle Lite,单人场景 FP16 推理竟可达到超高帧率 122FPS、精度 51.8mAP,绝对可以称得上一把利刃~
所有算法源码、产业案例、教程资料都在项目主页,大家尽情Star收藏哦!
⭐ 项目链接 ⭐
https://github.com/PaddlePaddle/PaddleDetection
那关键点检测算法这么多,PP-TinyPose 到底强在哪里呢?下面就给大家强势揭秘~
1
精度高、速度快
关键点检测算法往往需要部署在轻量化、边缘端设备上,因此长期以来都存在一个难题:精度高、速度则慢、算法体积也随之增加。而 PP-TinyPose 的出世彻底打破了这个僵局,采用 Top-Down 的方式,先应用 0.99M、150FPS 的超轻量检测网络 PP-PicoDet,再用基于 Lite-HRNet 的移动端优化模型,检测对应关键点,由此确保关键点检测的高精度,同时扩大数据集,减小输入尺寸,预处理与后处理加入 AID、UDP 和 DARK 等策略,保证模型的高性能。实现速度在 FP16 下 122FPS 的情况下,精度也可达到 51.8mAP,不仅比其他类似实现速度更快,精度更是提升了 130%!
以上视频引用于公开数据[3]
2
微小目标效果好
PP-TinyPose 除了在日常关键点检测任务上拥有极强的通用性,针对小目标出现在大尺幅图像中的产业常见难题场景完成一系列针对性的优化,从而对小目标进行关键点检测时,依然能保持同样的精度与速度,效果直接看图:
以上图片引用于公开数据[1]
3
多人同时检测,精准快速
更特别的是,PP-TinyPose 还能同时实现多人关键点检测,且效果超强!不仅对于检测人数无限制,其速度和精度也依旧优秀!与开源界其他类似实现相比,检测人数、精度与性能上均有明显优势,直接上图对比:
以上视频引用于公开数据[3]
4
快速边缘部署
为了满足产业开发者在摄像头、车辆、机顶盒、手机等边缘端部署的强烈需求,PP-TinyPose 借助飞桨轻量化推理引擎 Paddle Lite 的能力,为大家提供超便捷的边缘侧部署方案,并提供在手机端部署的保姆级教程及效果展示 Demo,让大家快速从“想用”,升级到“能用”然后快速上线 ٩̋(๑˃́ꇴ˂̀๑)!!
扫码报名课程,进群下载 APP 体验一下吧(/^▽^)/!
5
产业场景快速融合
除了技术产品本身的优势,PP-TinyPose 在产业场景实际落地的速度和效果也极其优秀!
以摔倒检测为例,在上海泰思通公司的实际业务中,应用 PP-TinyPose 检测出人体关键点,结合逻辑规则进行行为分析,历时一周就实现了“实时人物摔倒识别“,部署在 Windows 服务器上的 Nvidia GeForce RTX3070,耗时仅 15ms,高效地保障了工作人员及公司资产的安全。
以上视频引用于泰思通业务数据[5]
除此之外,PP-TinyPose 的能力可以快速被应用到异常行为识别等更多高价值领域发挥作用。
深入直播讲解
为了让开发者们更深入的了解 PP-TinyPose,掌握关键点检测的理论知识与实践指南,手把手教大家完成模型训练与预测部署,飞桨团队精心准备了为期四天的直播课程!
11月23日-26日 19:00-20:00,百度资深高工将深入解读通用目标检测的基础理论与实践、超轻人体关键点模型的理论及应用,并全方位解析实时跟踪系统,对各类痛难点提供最优解决方案,更有直播现场答疑解惑,还在等什么!抓紧扫码上车吧!
扫码报名直播课,加入技术交流群!
精彩内容抢先看
图片数据引用说明
[1] Lin T Y, Maire M, Belongie S, et al. Microsoft coco: Common objects in context[C]//European conference on computer vision. Springer, Cham, 2014: 740-755.
[2] Kay W, Carreira J, Simonyan K, et al. The kinetics human action video dataset[J]. arXiv preprint arXiv:1705.06950, 2017.
[3] YouTube. (2016, August 10). 100 People of Dance [Video file]. Retrieved from https://www.youtube.com/watch?v=qrTi2aLx8dw
[4] Myznik, E. (2020, June 22). Photo by Egor Myznik on unsplash. Beautiful Free Images & Pictures. Retrieved November 16, 2021, from https://unsplash.com/photos/NkGGF6BvU88.
[5] TaiSiTong. (2021 November 3).