iOS开发之机器学习框架MediaPipe（1）【转载】

最新推荐文章于 2024-05-31 16:35:00 发布
最新推荐文章于 2024-05-31 16:35:00 发布
阅读量64 收藏
点赞数
文章标签： ios 机器学习 人工智能
原文链接：https://blog.csdn.net/hbblzjy/article/details/127307832
版权

 

MediaPipe是谷歌开源的机器学习框架，用于处理视频、音频等时间序列数据。
MediaPipe Solutions提供了16个Solutions: 人脸检测、Face Mesh(面部网格)、虹膜、手势、姿态、人体、人物分割、头发分割、目标检测、Box Tracking、Instant Motion Tracking、3D目标检测、特征匹配等。

本周刚开始学习MediaPipe框架，所以今天先记录一下部分准备工作和遇到的一下疑难杂症～


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       # 在Mac上安装Homebrew
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       /bin/bash -c 
       
       "$(curl -fsSL \
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       //国内用户可用一键安装脚本:
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       /bin/zsh -c
       
       "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  7. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       # 安装Xcode及命令行工具
      
      
    
     
     
  8. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       xcode-select --install
      
      
    
     
     
  9. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  10. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       # 安装Bazelisk，
      
      
    
     
     
  11. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       brew install bazelisk
      
      
    
     
     
  12. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  13. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       # 克隆MediaPipe库文件
      
      
    
     
     
  14. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       git 
       
       clone https://github.com/google/mediapipe.git
      
      
    
     
     
  15. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       cd mediapipe
      
      
    
     
     
  16. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  17. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       # 安装OpenCV
      
      
    
     
     
  18. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       brew install opencv@3

当你在执行 brew install opencv@3 时，你肯定会遇到类似下面的问题：

这是因为缺少对应的依赖库，上面就是缺少了 harfbuzz 库，所以下载好对应的库就可以解决，执行：brew install harfbuzz

之后再遇见一样的错误，还是执行：brew install （缺少的库），直到下载依赖库不再报错，或者执行完一次：1、brew install （缺少的库），无论结果如何，接着执行：2、brew install opencv@3，看opencv@3结果缺少哪个库，然后多次执行1、2两个终端命令，直到执行：brew install opencv@3 不再error，那么执行

brew info opencv@3 # 查看opencv的版本及信息

显示结果如图：

之后下载python3的six库，一定要注意，在终端上将python3设置为默认，下载完成后，查看安装结果


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       # 安装 six库
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       pip
       
       3 install --user six
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       # 查验安装结果
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       # cd 到 mediapipe 所在的目录，执行下面操作
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
     
      
      
    
     
     
  7. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       export GLOG_logtostderr
       
       =
       
       1
      
      
    
     
     
  8. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       /
       
       / 需要bazel设置环境变量
       
       'MEDIAPIPE_DISABLE_GPU=1'，因为桌面GPU当前不受支持
      
      
    
     
     
  9. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       bazel 
       
       run --define MEDIAPIPE_DISABLE_GPU
       
       =
       
       1 \
      
      
    
     
     
  10. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           mediapipe
       
       /examples
       
       /desktop
       
       /hello_world:hello_world

此时如果你很顺利的输出了以下结果，那么恭喜你，最初的配置已经成功。

但是很不幸的是，我遇到了下面的大坑，

问题很明显是缺少了numpy库


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       ERROR: Analysis 
       
       of target 
       
       '//mediapipe/examples/desktop/hello_world:hello_world' failed; build aborted: Problem getting numpy include path.
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       Traceback (most recent 
       
       call 
       
       last):
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
      
       
       File 
       
       "<string>", 
       
       line 
       
       1, 
       
       in 
       
       <module
       
       >
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       ModuleNotFoundError: 
       
       No module named 
       
       'numpy'
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       Is numpy installed?

于是我就使用各种终端命令安装numpy，命令显示已经安装上了，然后再执行hello_world语句，依然是相同的报错，然后 import numpy 导入库，发现竟然没有，最后使用下面命令安装：

python3 -m pip install numpy

报错如下：

查看了各种英文，各种尝试都不管用，最后终于在github上理解了原因是什么：Failed pip install for numpy in python 3.9 on macOS using conda，这是一个python的bug！！！在这个版本上安装会失败！！！Failed pip install for numpy in python 3.9 on macOS using conda · Issue #17569 · numpy/numpy · GitHub

于是我更新了python3.10.5的版本：https://www.python.org/ftp/python/3.10.5/python-3.10.5-macos11.pkg

然后再次执行

python3 -m pip install numpy

成功效果如下：

最后再次执行操作语句：


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       export GLOG_logtostderr
       
       =
       
       1
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       /
       
       / 需要bazel设置环境变量
       
       'MEDIAPIPE_DISABLE_GPU=1'，因为桌面GPU当前不受支持
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       bazel 
       
       run --define MEDIAPIPE_DISABLE_GPU
       
       =
       
       1 \
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
           mediapipe
       
       /examples
       
       /desktop
       
       /hello_world:hello_world

终于让我看到了世界语言：


   
   
  1. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       INFO: Analyzed target 
       
       /
       
       /mediapipe
       
       /examples
       
       /desktop
       
       /hello_world:hello_world (
       
       81 packages loaded, 
       
       1836 targets configured).
      
      
    
     
     
  2. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       INFO: Found 
       
       1 target...
      
      
    
     
     
  3. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       Target 
       
       /
       
       /mediapipe
       
       /examples
       
       /desktop
       
       /hello_world:hello_world up-to-date:
      
      
    
     
     
  4. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
         bazel-bin
       
       /mediapipe
       
       /examples
       
       /desktop
       
       /hello_world
       
       /hello_world
      
      
    
     
     
  5. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       INFO: Elapsed 
       
       time: 
       
       575.843s, Critical Path: 
       
       487.45s
      
      
    
     
     
  6. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       INFO: 
       
       776 processes: 
       
       156 internal, 
       
       620 darwin-sandbox.
      
      
    
     
     
  7. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       INFO: Build completed successfully, 
       
       776 total actions
      
      
    
     
     
  8. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       INFO: Build completed successfully, 
       
       776 total actions
      
      
    
     
     
  9. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.163226 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  10. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165056 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  11. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165071 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  12. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165081 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  13. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165088 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  14. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165097 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  15. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165105 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  16. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165114 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  17. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165122 
       
       179693056 hello_world.cc:
       
       57] Hello World!
      
      
    
     
     
  18. 
     
     
    
      
      
    
     
     
    
     
     
    
      
      
    
       
       I
       
       20221013 
       
       17:
       
       40:
       
       34.165131 
       
       179693056 hello_world.cc:
       
       57] Hello World!

真是遇到了一个大坑啊，第一步大坑已经迈过去了，距离胜利越来越近了，未完待续～～

整理不易，转载请注明，谢谢

aidem_brown
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
iOS开发之机器学习框架MediaPipe（1）
hbblzjy的博客
10-13 1541
MediaPipe是谷歌开源的机器学习框架，用于处理视频、音频等时间序列数据。 MediaPipe Solutions提供了16个Solutions: 人脸检测、Face Mesh(面部网格)、虹膜、手势、姿态、人体、人物分割、头发分割、目标检测、Box Tracking、Instant Motion Tracking、3D目标检测、特征匹配等。
iOS开发之机器学习框架MediaPipe（5）
hbblzjy的博客
11-11 2319
研究了这么长时间，终于可以写一下如何生成想要的功能包framework，然后放入自己的项目中了。
macos系统编译MediaPipe并打包单个算法为ios的framework--以PoseTracking为例（3）
最新发布
weixin_44099571的博客
05-31 368
上一篇中，已经成功生成了Mediapipe的Xcode项目，我这里用到的是PoseTracking，选择PoseTracking但是编译不过报错。
iOS开发之机器学习框架MediaPipe（2）
hbblzjy的博客
10-24 1166
上述操作完成后，接下来就是下载安装Tulsi.app、配置运行MediaPipe项目的操作。在这个过程中也是遇到了匪夷所思的问题，接着开始。
iOS开发之机器学习框架MediaPipe（4）
hbblzjy的博客
10-27 1493
兜兜转转大结局终于来了，是时候运行Demo，实践和检验成果了。
macos系统编译MediaPipe并打包单个算法为ios的framework--以PoseTracking为例（1）
weixin_44099571的博客
05-28 888
Xcode15.4Mediapipe v0.10.14(2024年5月最新版)自装python3 版本Python 3.10.5opencv@3bazel 6.1.1+ (注意Mediapipe v0.10.14需要bazel最低版本为6.1.1，目前最新版本是6.2.1)注意有些mediapipie版本编译失败，可能是bazel版本与mediapipe版本不匹配且未修改mediapipe中默认使用的bazel版本导致编译失败。
cpp-MediaPipe是一个用于构建多模式应用机器学习管道的跨平台框架
08-16
1. **跨平台支持**：MediaPipe 支持多种操作系统，包括 Android、iOS、Linux、MacOS 和 Windows，这使得开发人员能够在不同平台上无缝迁移和部署 ML 应用。 2. **高性能**：MediaPipe 使用图形处理器（GPU）、中央...
一个基于mediapipe实现手势数字识别机器学习项.zip
02-15
Mediapipe是一个开源框架，由Google开发，用于实时处理多媒体数据，如图像和视频。它提供了多种预构建的管道（pipelines），适用于计算机视觉任务，包括对象检测、姿态估计、面部特征追踪等。在这个名为“手势数字...
TensorFlow Lite 端侧机器学习框架
08-28
TensorFlow Lite 是一个轻量级、高性能的开源机器学习框架，设计用于移动设备和物联网（IoT）场景。它是 TensorFlow 家族的一部分，允许开发者在Android、iOS、嵌入式Linux以及微控制器（MCU）等多种平台上进行机器...
mediapipe-master.zip
05-13
Mediapipe是由谷歌开发的一个开源跨平台框架，主要用于构建复杂的多媒体处理管道，它结合了计算机视觉、机器学习和传感器数据处理等技术。这个框架适用于实时的移动应用、桌面应用以及服务器端解决方案，如图像分析...
基于Mediapipe的开源手势识别前端应用
04-04
该框架支持多种平台，包括Android、iOS、Linux和Windows等，这使得开发人员能够在各种设备上无缝部署其计算机视觉算法。Mediapipe包含了预训练的模型，这些模型可以用于实时的图像分析，如面部识别、手部追踪、头发...
mediapipe：用于实时和流媒体的跨平台，可定制的ML解决方案
01-28
布局 标题 nav_order 默认 家 1个 在任何地方实时学习 为实时和流媒体提供跨平台的，可定制的ML解决方案。 端到端加速：内置快速ML推理和处理加速，即使在普通硬件上也是如此 一次构建，随时随地部署：统一解决方案可在Android，iOS，桌面/云，Web和IoT上运行 即用型解决方案：尖端的机器学习解决方案，充分展示了框架的强大功能 免费和开源：完全可扩展和可定制的Apache 2.0下的框架和解决方案 MediaPipe中的ML解决方案 人脸检测 面网 虹膜 手 姿势 整体性 头发分割 物体检测 箱子追踪 即时运动追踪 奥博龙 刀 :white_heavy_check_mark: :white_heavy_check_mark: :white_heavy_check_mark: :white_heavy_check_mark: :white_heavy_check_mark: :white_heavy_check_mark: :white_heavy_check_mark: :white_heavy_check_mark: :whit
iOS开发之机器学习框架MediaPipe（5）【转载】
Wanda && Aidem
05-17 27
BUILD文件中然后修改其他的参数，比如objc_library，可以添加自己需要的依赖库，还有自定义的文件名，还有依赖其他BUILD需要的库，修改后这样可以保证自己BUILD出的framework是个独立的个体，而且不会生成一些不需要的文件。前面其实已经可以运行不同功能的Demo了，那是一种真机测试的方式之一，还有一种方法，就是利用命令行，生成对应Demo的ipa，然后安装到手机上运行。首先，源码中，每个Demo文件都有对应的BUILD文件，其实这个文件中的配置，就是为了能运行每一个不同的Demo。
谷歌开发手部识别系统，适配跨平台框架MediaPipe，手机可用！
sun007700的专栏
04-07 235
https://baijiahao.baidu.com/s?id=1643545750899596370&wfr=spider&for=pc Mediapipe框架学习 https://blog.csdn.net/qq_36818449/article/details/103889079
开源的跨平台AI模型部署总有一款是你的菜
修炼之路
03-28 6796
Mediapipe是Google开源的一个跨平台模型部署项目 ，Mediapipe还提供了大量的开源模型。我们能够很方便的使用MediaPipe将模型部署在Android、IOS、Desktop、Web以及IOT设备上。
iOS开发之机器学习框架MediaPipe（2）【转载】
Wanda && Aidem
05-17 27
但是在这里我还是要强调一点，如果你执行了brew install bazel，那么你肯定需要解除bazelisk的link，那么你的操作就多余了，会影响你接下来的操作，一定要link到bazelisk，比如像这样。都表示可能跟你执行brew install bazel，解除bazelisk的link有关系，此时你需要做的是下面的操作：（仔细看下面的操作，这个也是我后来转变了思路，重新阅读了原文档，才慢慢走上正轨。终于，终于，终于，下载完成了，然后自动打开了Tulsi.app，泪目，太不容易了～
使用 MediaPipe 轻松实现设备端机器学习
特立独行的博客
09-06 1344
了解新一代 MediaPipe 解决方案，开发者可利用该产品套件轻松地将设备端机器学习解决方案集成到不同平台（Android、Web、桌面等）的应用中。您还可以使用自己的训练数据集轻松自定义部分解决方案，只需几行代码即可。
探索MediaPipe自定义机器学习模型
徐福记456
06-27 4275
MediaPipe支持人脸识别、目标检测、图像分类、人像分割、手势识别、文本分类、语音分类。每个模块都有对应的模型，但是原有模型可能比较大、推理耗时比较长，我们可以自定义模型来进行进行优化。
iOS 组件和框架开发深入浅出
1. 手机应用程序开发：使用 iOS 组件和框架开发手机应用程序。 2. 平板应用程序开发：使用 iOS 组件和框架开发平板应用程序。 3. 游戏开发：使用 iOS 组件和框架开发游戏应用程序。 4. 企业应用程序开发：使用 iOS ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值