Linux学习笔记（十三）madiepipe开发

胜者为王，自然而然。

已于 2022-06-01 10:28:38 修改

阅读量3.6k

点赞数 2

分类专栏：笔记文章标签： linux 学习运维

于 2022-03-11 18:16:46 首次发布

本文链接：https://blog.csdn.net/qq_42672823/article/details/123431043

版权

笔记专栏收录该内容

19 篇文章 4 订阅

订阅专栏

文章目录

1、简介
2、源码编译
3、MediaPipe Hands
4、MediaPipe Pose
5、dlib

mediapipe github：https://github.com/google/mediapipe

mediapipe 官网：https://google.github.io/mediapipe/

dlib 官网：http://dlib.net/

dlib github：https://github.com/davisking/dlib

1、简介

MediaPipe是一款由Google开发并开源的数据流处理机器学习应用开发框架。它是一个基于图的数据处理管线，用于构建使用了多种形式的数据源，如视频、音频、传感器数据以及任何时间序列数据。 MediaPipe是跨平台的，可以运行在嵌入式平台(树莓派等)，移动设备(iOS和Android)，工作站和服务器上，并支持移动端GPU加速。 MediaPipe为实时和流媒体提供跨平台、可定制的ML解决方案。

MediaPipe 的核心框架由 C++ 实现，并提供 Java 以及 Objective C 等语言的支持。MediaPipe 的主要概念包括数据包（Packet）、数据流（Stream）、计算单元（Calculator）、图（Graph）以及子图（Subgraph）。

MediaPipe的特点：

端到端加速：内置的快速ML推理和处理即使在普通硬件上也能加速。
一次构建，随时随地部署：统一解决方案适用于Android、iOS、桌面/云、web和物联网。
即用解决方案：展示框架全部功能的尖端ML解决方案。
免费开源：Apache2.0下的框架和解决方案，完全可扩展和定制。

MediaPipe中的深度学习解决方案

Face Detection	Face Mesh	Iris	Hands	Pose	Holistic


Hair Segmentation	Object Detection	Box Tracking	Instant Motion Tracking	Objectron	KNIFT

	Android	iOS	C++	Python	JS	Coral
Face Detection	✅	✅	✅	✅	✅	✅
Face Mesh	✅	✅	✅	✅	✅
Iris	✅	✅	✅
Hands	✅	✅	✅	✅	✅
Pose	✅	✅	✅	✅	✅
Holistic	✅	✅	✅	✅	✅
Selfie Segmentation	✅	✅	✅	✅	✅
Hair Segmentation	✅		✅
Object Detection	✅	✅	✅			✅
Box Tracking	✅	✅	✅
Instant Motion Tracking	✅
Objectron	✅		✅	✅	✅
KNIFT	✅
AutoFlip			✅
MediaSequence			✅
YouTube 8M			✅

2、源码编译

2.1、安装bazel

sudo apt-get install -y libopencv-core-dev libopencv-highgui-dev libopencv-calib3d-dev libopencv-features2d-dev libopencv-imgproc-dev libopencv-video-dev

在jetson nano上安装bazel

安装依赖库

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update
sudo apt install openjdk-11-jdk pkg-config zip g++ zlib1g-dev unzip python3

源码编译

unzip bazel-4.0.0-dist.zip
bash ./compile.sh
sudo cp output/bazel /usr/local/bin

版本查看

bazel version

2.2、安装mediapipe

下载mediapipe源码

git clone https://github.com/google/mediapipe.git

安装依赖库

sudo apt install -y python3-dev cmake protobuf-compiler libprotobuf-dev cmake protobuf-compiler libprotobuf-dev

修改mediapipe/setup.py

protoc_command = [self._protoc, '-I.', '--python_out=.', source]                            // 删除
protoc_command = [self._protoc, '-I.', '-I/usr/local/include', '--python_out=.', source]    // 增加

修改.cc 文件

./mediapipe/calculators/tensor/image_to_tensor_converter_opencv.cc
./mediapipe/calculators/tensor/image_to_tensor_converter_gl_buffer.cc
./mediapipe/calculators/image/affine_transformation_runner_opencv.cc

Code below:

return tensor;                                                                                // 删除
return absl::StatusOr<mediapipe::Tensor> ( mediapipe::Tensor(std::move(tensor)));             // 增加
return out_image;                                                                             // 删除
return absl::StatusOr<mediapipe::ImageFrame> ( mediapipe::ImageFrame(std::move(out_image)));  // 增加

Go to the MediaPipe directory.

cd mediapipe

Remove unnecessary OpenCV modules and linker flags.

sed -i -e "/\"imgcodecs\"/d;/\"calib3d\"/d;/\"features2d\"/d;/\"highgui\"/d;/\"video\"/d;/\"videoio\"/d" third_party/BUILD
sed -i -e "/-ljpeg/d;/-lpng/d;/-ltiff/d;/-lImath/d;/-lIlmImf/d;/-lHalf/d;/-lIex/d;/-lIlmThread/d;/-lrt/d;/-ldc1394/d;/-lavcodec/d;/-lavformat/d;/-lavutil/d;/-lswscale/d;/-lavresample/d" third_party/BUILD

修改 mediapipe/third_party/BUILD:

"WITH_ITT": "OFF",   
"WITH_JASPER": "OFF",    
"WITH_WEBP": "OFF",    
"ENABLE_NEON": "OFF",  <--add this      
"WITH_TENGINE": "OFF",  <--add this

安装

python3 setup.py gen_protos && python3 setup.py bdist_wheel

安装

pip3 install dist/mediapipe-0.8-cp36-cp36m-linux_aarch64.whl

重启

reboot

2.3、使用GPU

2.3.1、安装OpenGL ES

sudo apt-get install mesa-common-dev libegl1-mesa-dev libgles2-mesa-dev mesa-utils

检验安装情况

glxinfo | grep -i opengl

打印如下

OpenGL vendor string: NVIDIA Corporation
OpenGL renderer string: NVIDIA Tegra X1 (nvgpu)/integrated
OpenGL core profile version string: 4.6.0 NVIDIA 32.4.4
OpenGL core profile shading language version string: 4.60 NVIDIA
OpenGL core profile context flags: (none)
OpenGL core profile profile mask: core profile
OpenGL core profile extensions:
OpenGL ES profile version string: OpenGL ES 3.2 NVIDIA 32.4.4
OpenGL ES profile shading language version string: OpenGL ES GLSL ES 3.20
OpenGL ES profile extensions:

注意使用glxinfo检验OpenGL安装情况时，若通过ssh连接，则运行该命令时会报错libGL error: MESA-LOADER: failed to open swrast (search paths /usr/lib/aarch64-linux-gnu/dri:$${ORIGIN}/dri:/usr/lib/dri)，而通过直连Jetson的显示器运行该命令则不会有该错误。因此若之后通过ssh连接Jetson构建或运行出错，应该考虑通过直连显示器进行尝试。

之后在构建或运行时就需要将命令行中的参数–define MEDIAPIPE_DISABLE_GPU=1替换为–copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11。如下面尝试构建运行GPU版本的"Hello World"：

export GLOG_logtostderr=1
bazel run --copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11 mediapipe/examples/desktop/hello_world:hello_world

2.3.2、配置TensorFlow的CUDA支持

首先确认各种库（CUPTI、CUDA、CUDNN、NVCC）的安装情况：

> ls /usr/local/cuda-10.2/targets/aarch64-linux/lib | grep libcupti*
libcupti.so
libcupti.so.10.2
libcupti.so.10.2.75

> ls /usr/local/cuda-10.2
bin  extras   lib64    nvml  nvvmx   samples  targets  version.txt
doc  include  LICENSE  nvvm  README  share    tools

> nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2019 NVIDIA Corporation
Built on Wed_Oct_23_21:14:42_PDT_2019
Cuda compilation tools, release 10.2, V10.2.89

>  ls /usr/lib/aarch64-linux-gnu/ | grep libcudnn.so
libcudnn.so
libcudnn.so.8
libcudnn.so.8.0.0

将CUDA库的路径通过环境变量TF_CUDA_PATHS配置给TensorFlow：

sudo vim /etc/profile
export TF_CUDA_PATHS=/usr/local/cuda-10.2,/usr/lib/aarch64-linux-gnu,/usr/include

为了让bazel编译时能找到CUDA，还需要将TensorFlow官方.bazelrc文件中的build:using_cuda和build:cuda部分添加到MediaPipe文件夹下的.bazelrc文件中：

# This config refers to building with CUDA available. It does not necessarily
# mean that we build CUDA op kernels.
build:using_cuda --define=using_cuda=true
build:using_cuda --action_env TF_NEED_CUDA=1
build:using_cuda --crosstool_top=@local_config_cuda//crosstool:toolchain

# This config refers to building CUDA op kernels with nvcc.
build:cuda --config=using_cuda
build:cuda --define=using_cuda_nvcc=true

最后在编译的时候，就要在命令中再加两个参数--config=cuda和--spawn_strategy=local。

尝试编译运行GPU版Holistic案例
在MediaPipe文件夹下，运行如下命令编译Holistic GPU版：

bazel build -c opt --config=cuda --spawn_strategy=local --copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11 mediapipe/examples/desktop/holistic_tracking:holistic_tracking_gpu

编译过程中报错ERROR: /home/victor/mediapipe/mediapipe/framework/tool/BUILD:66:10: Linking of rule ‘//mediapipe/framework/tool:encode_as_c_string’ failed (Exit 1)，GitHub上有Issue提出类似问题https://github.com/google/mediapipe/issues/852，但解决方案貌似是需要修改一个中间文件。注意到有评论说目前MediaPipe用到CUDA的仅仅在Object Detection中，因此暂时放弃加上CUDA选项。修改编译命令重新编译：

bazel build -c opt --copt -DMESA_EGL_NO_X11_HEADERS --copt -DEGL_NO_X11 mediapipe/examples/desktop/holistic_tracking:holistic_tracking_gpu

编译时间较长，花费了30多分钟，需要耐心等待。再运行如下命令运行生成的程序：

export GLOG_logtostderr=1
./bazel-bin/mediapipe/examples/desktop/holistic_tracking/holistic_tracking_gpu --calculator_graph_config_file=mediapipe/graphs/holistic_tracking/holistic_tracking_gpu.pbtxt

运行状态较好，帧数较为稳定，CPU利用率在60%左右，GPU利用率在80-90%浮动，可见应该是成功利用到了GPU资源。注意连接CSI摄像头时，需要修改mediapipe\examples\desktop\demo_run_graph_main_gpu.cc中设置正确的GStream Pipeline，否则无法打开摄像头，连接USB摄像头则可以直接使用。