作者 | MediaPipe 团队
来源 | TensorFlow(ID:tensorflowers)
MediaPipe 是一款由 Google Research 开发并开源的多媒体机器学习模型应用框架。在谷歌,一系列重要产品,如 YouTube、Google Lens、ARCore、Google Home 以及 Nest,都已深度整合了 MediaPipe。
注:MediaPipe GitHub 链接https://github.com/google/mediapipe
作为一款跨平台框架,MediaPipe 不仅可以被部署在服务器端,更可以在多个移动端 (安卓和苹果 iOS)和嵌入式平台(Google Coral 和树莓派)中作为设备端机器学习推理 (On-device Machine Learning Inference)框架。
为什么需要 MediaPipe?
一款多媒体机器学习应用的成败除了依赖于模型本身的好坏,还取决于设备资源的有效调配、多个输入流之间的高效同步、跨平台部署上的便捷程度、以及应用搭建的快速与否。
基于这些需求,谷歌开发并开源了 MediaPipe 项目。除了上述的特性,MediaPipe 还支持 TensorFlow 和 TF Lite 的推理引擎(Inference Engine),任何 TensorFlow 和 TF Lite 的模型都可以在 MediaPipe 上使用。同时,在移动端和嵌入式平台,MediaPipe 也支持设备本身的 GPU 加速。
MediaPipe 演示案例
在今年六月举行的 CVPR 会议上,Google Research 开源了 MediaPipe 的预览版。为方便开发者学习和使用,我们提供了多个桌面系统和移动端的示例。作为一款应用于多媒体的框架,现已开源的安卓和苹果 iOS 示例包括:
3D 手部标志追踪(3D Hand Tracking)
-
BlazeFace 人脸检测(Face Detection)
-
改换发色(Hair Segmentation)
-
物体检测(Object Detection)
3D 手部标志追踪
人脸检测
MediaPipe 主要概念
注:计算单元 链接https://github.com/google/mediapipe/tree/master/mediapipe/calculators
-
MediaPipe 苹果 iOS Hello World! 教程和代码
-
MediaPipe 安卓 Hello World! 教程和代码
注: MediaPipe BlazePlam 手掌检测应用 链接https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_detection_mobile_gpu.md
-
MediaPipe GitHub & 联系我们https://github.com/google/mediapipemediapipe@google.com
-
MediaPipe ReadtheDocs 文档https://mediapipe.readthedocs.io/en/latest/
-
MediaPipe BlazeFace 人脸检测应用https://github.com/google/mediapipe/blob/master/mediapipe/docs/face_detection_mobile_gpu.md
-
MediaPipe 手部标志追踪应用https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md
-
MediaPipe 改换发色应用https://sites.google.com/corp/view/perception-cv4arvr/hair-segmentation
-
MediaPipe 示例https://github.com/google/mediapipe/blob/master/mediapipe/docs/examples.md
-
MediaPipe 苹果 iOS Hello World! 教程和代码https://github.com/google/mediapipe/blob/master/mediapipe/docs/hello_world_ios.md
-
MediaPipe 安卓 Hello World! 教程和代码https://github.com/google/mediapipe/blob/master/mediapipe/docs/hello_world_android.md
-
MediaPipe Visualizerhttps://viz.mediapipe.dev
-
MediaPipe Third Workshop on Computer Vision for AR/VR 论文https://sites.google.com/corp/view/perception-cv4arvr/mediapipe
◆
精彩推荐
◆
倒计时!由易观携手CSDN联合主办的第三届易观算法大赛还剩 7 天,冠军团队将获得3万元!
本次比赛主要预测访问平台的相关事件的PV,UV流量(包括Web端,移动端等),大赛将会提供相应事件的流量数据,以及对应时间段内的所有事件明细表和用户属性表等数据,进行模型训练,并用训练好的模型预测规定日期范围内的事件流量。
推荐阅读