MobileNet-SSD、RealSense D435嵌入式环境搭建与Caffe环境下实时检测的全流程记录与问题总结

由于近期项目需要又拾起老本行，在新的嵌入式平台RK3399上复现了MobileNet-SSD网络，以及使用Intel RealSense D435深度相机进行实时检测的全部流程。现将过程中遇到的所有问题进行了详细总结，便于后期归档与查询。

1、Caffe MobileNet-SSD 的嵌入式环境搭建与实测

我这里已安装的基础环境与平台：
嵌入式平台RK3399、系统Ubuntu 16.04 （xubuntu轻量级桌面系统）、架构Arm64、Python2.7.1、OpenCV3.4.0
Caffe-SSD官方下载地址：
https://github.com/weiliu89/caffe/tree/ssd
Mobilenet-SSD官方下载地址：
https://github.com/chuanqi305/MobileNet-SSD

首先，Mobilenet-SSD检测网络的安装前提是要使用SSD网络框架，所以要先编译安装Caffe的SSD分支。
需要浏览Caffe官方安装手册：
http://caffe.berkeleyvision.org/installation.html
建议按照Caffe所需要的基础环境进行安装，能够规避许多问题。

问题记录-1 -------------------------------------------------------------------------------------------------------

由于我一开始安装的opencv版本为OpenCV4.1.0，在顺利编译好Caffe的环境之后运行Mobilenet-SSD发现出现以下错误：

OpenCV Error: Assertion failed (tlsSlots.size() > slotIdx) in releaseSlot, file /home/smarteye07/download/opencv/opencv320_static/modules/core/src/system.cpp, line 1092
terminate called after throwing an instance of 'cv::Exception'
  what():  /home/opencv/opencv320_static/modules/core/src/system.cpp:1092: error: (-215) tlsSlots.size() > slotIdx in function releaseSlot

测试发现单独使用 OpenCV 4.1.0 时，程序不会出现上述的错误，但是与其他库传递Mat数据时，就会出现数据释放失败导致的crash。查了一些资料后个人推断是OpenCV4以上版本的问题（不知道对不对），因此万能的傻瓜式解决办法就是卸载OpenCV 4.1.0重新安装低版本OpenCV3.4.0。

下面先记录一下OpenCV卸载重装过程，存档便于后续查询。

1、OpenCV卸载重装

首先找到OpenCV原版本路径，在build文件夹下新建终端，执行以下命令行进行卸载：

sudo make uninstall
cd  ..
sudo rm -r build

之后进行OpenCV3.4.0的安装，去官网下载OpenCV并选择sources版本。
下载链接为：http://opencv.org/releases.html
之后解压下载下来的zip包，安装OpenCV的依赖库和Cmake，如果提醒需要apt-get update，那就先sudo su进入root权限创建超级用户，再sudo apt-get update，之后可对OpenCV进行编译安装。整体命令行如下所示：

sudo apt-get install cmake  #cmake如已安装可忽略
sudo apt-get install build-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg.dev libtiff4.dev libswscale-dev libjasper-dev  #安装依赖库
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..
sudo make -j6  #由于我的嵌入式板子是6核，因此这里可以使用-j6加速
sudo make install

执行完毕后OpenCV编译过程就结束了，接下来就需要配置一些OpenCV的编译环境。
首先将OpenCV的库添加到路径，从而可以让系统找到，执行如下命令行：sudo gedit /etc/ld.so.conf.d/opencv.conf
打开的可能是一个空白的文件，在文件末尾添加代码：/usr/local/lib ，之后执行：sudo ldconfig使得刚才的配置路径生效。
最后配置环境变量，执行：sudo gedit /etc/bash.bashrc，在最末尾添加如下代码：

PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig 
export PKG_CONFIG_PATH 

保存后执行命令：source /etc/bash.bashrc 使配置生效，并执行命令行：sudo updatedb 进行更新。
至此所有配置都已经完成。

这里给出一些OpenCV常用的查询命令行：
查看当前OpenCV版本：pkg-config --modversion opencv
查看OpenCV安装库存放路径：pkg-config opencv --libs
查看OpenCV相关文件的所有存放路径：sudo find / -iname "*opencv*"

2、Caffe编译安装以及问题总结

之后进入正题，从Caffe-SSD的官方下载地址中下载并解压。在Caffe根目录下打开终端，执行如下命令行复制编译脚本：

cp Makefile.config.example Makefile.config

打开Makefile.config文件进行安装设置，这里给出我自己修改后的最终版，修改原因以及出现的问题在下文会具体展示。

# 使用cuda9.0
# USE_CUDNN := 1  #由于我这里没有安装CUDA，因此该项会导致编译报错，需要将其屏蔽
# CPU-only switch (uncomment to build without GPU support).
CPU_ONLY := 1     #由于我只采用CPU，需要将此项打开
# Uncomment if you're using OpenCV 3
OPENCV_VERSION := 3   #我的OpenCV为3以上版本，需要将此项打开
# BLAS choice:
# atlas for ATLAS (default)
# mkl for MKL
# open for OpenBlas
BLAS := open      #这里的偏置项选择OpenBlas
# NOTE: this is required only if you will compile the python interface.
# We need to be able to find Python.h and numpy/arrayobject.h.
PYTHON_INCLUDE := /usr/include/python2.7 \
		/usr/lib/python2.7/dist-packages/numpy/core/include
PYTHON_LIB := /usr/lib
# WITH_PYTHON_LAYER := 1  #这里我选择Caffe默认的python2.7进行安装，因此将python选项屏蔽
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/include/hdf5/serial /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/lib/aarch64-linux-gnu/hdf5/serial/ /opt/OpenBLAS/lib /usr/lib/aarch64-linux-gnu/ /home/ninetripod/Desktop/OpenBLAS/ /usr/local/lib /usr/lib
#在INCLUDE_DIRS与LIBRARY_DIRS中分别加入hdf5与OpenBLAS的库文件路径
# Uncomment to use `pkg-config` to specify OpenCV library paths.
# (Usually not necessary -- OpenCV libraries are normally installed in one of the above $LIBRARY_DIRS.)
USE_PKG_CONFIG := 1  #由于我的OpenCV默认安装路径为/usr/local/lib，已经写入了$LIBRARY_DIRS中，这里不再添加OpenCV的路径

接下来就可以开始Caffe的安装Caffe的依赖库，执行命令行如下所示：

apt install -y libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler
apt install -y --no-install-recommends libboost-all-dev
apt install -y libatlas-base-dev
apt install -y libgflags-dev libgoogle-glog-dev liblmdb-dev

之后执行如下命令行完成Caffe的编译与安装工作：

make -j1  #这里对内存的消耗较大，建议采用-j1进行编译防止内存不足
export PYTHONPATH=/home/....../caffe/python  #这里将Caffe根目录下的python文件夹路径设为python路径
make py
make test -j1
make runtest -j1

如果编译没有问题，在终端输入python进入python环境后执行import caffe，如果不报错，则说明caffe已安装成功。

在这个过程中如果一开始的配置项没有设置好或者依赖库装的不全就会出现各种各样的问题。
现将我在编译安装过程中的问题记录如下：

问题记录-2 -------------------------------------------------------------------------------------------------------

“cublas_v2.h: No such file or directory”

这个错误原因是在Makefile.config文件中使用了CUDA，但并没有找到CUDA的已安装环境。如果不想进行CUDA加速的话需要将Makefile.config文件中的USE_CUDNN := 1屏蔽，并打开指定CPU_ONLY选项：CPU_ONLY := 1再编译即可；如果需要使用CUDA，则安装后需要将CUDA的头文件、库的路径加入Makefile.config中。

问题记录-3 -------------------------------------------------------------------------------------------------------

collect2: error: ld returned 1 exit status
Makefile:619: recipe for target '.build_release/tools/extract_features.bin' failed
make: *** [.build_release/tools/extract_features.bin] Error 1
.build_release/lib/libcaffe.so：undefined reference to cv‘cv::imshow(cv::String const&, cv::_InputArray const&)’
collect2: error: ld returned 1 exit status
Makefile:619: recipe for target '.build_release/tools/create_label_map.bin' failed
make: *** [.build_release/tools/create_label_map.bin] Error 1
.build_release/lib/libcaffe.so：undefined reference to cv‘cv::imshow(cv::String const&, cv::_InputArray const&)’
collect2: error: ld returned 1 exit status
Makefile:619: recipe for target '.build_release/tools/upgrade_net_proto_text.bin' failed
make: *** [.build_release/tools/upgrade_net_proto_text.bin] Error 1
.build_release/lib/libcaffe.so：undefined reference to cv‘cv::imshow(cv::String const&, cv::_InputArray const&)’
collect2: error: ld returned 1 exit status
Makefile:619: recipe for target '.build_release/tools/upgrade_solver_proto_text.bin' failed
make: *** [.build_release/tools/upgrade_solver_proto_text.bin] Error 1

这个问题是由OpenCV导致的，可能原因有找不到OpenCV的函数定义、没有链接OpenCV的库、OpenCV配置的路径有问题等等。由于我的OpenCV默认安装路径为/usr/local/lib，已经写入了$LIBRARY_DIRS中，只需要把Makefile.config文件中的 #USE_PKG_CONFIG := 打开屏蔽即可，这里不再添加OpenCV的路径。如果还报错的话可以把原来的编译内容用make clean清空，再次重新编译。

问题记录-4 -------------------------------------------------------------------------------------------------------

ImportError: libopenblas.so.0: cannot open shared object file: No such file or directory

这个问题的原因是我在Makefile.config文件中选择了OpenBlasBLAS := open，但我并没有安装OpenBLAS。
下面对OpenBLAS进行安装，执行如下命令行：

git clone https://github.com/xianyi/OpenBLAS.git   #下载最新的openblas
cd OpenBLAS
make FC=gfortran  #安装gfortran
make install
ln -s /opt/OpenBLAS/lib/libopenblas.so  /usr/lib/libblas.so.3
ln -s /opt/OpenBLAS/lib/liblapack.so.3 /usr/lib/liblapack.so.3
sudo gedit ~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/OpenBLAS/lib  #在~/.bashrc文件末尾中加入OpenBLAS路径
source ~/.bashrc

问题记录-5 -------------------------------------------------------------------------------------------------------

fatal error: hdf5.h: No such file or directory

这个问题错误原因是因为找不到hdf5.h文件。解决办法为首先使用命令：sudo find / -name hdf5.h 寻找hdf5.h的路径，之后将该路径加入Makefile.config文件的INCLUDE_DIRS中，例如：INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/include/hdf5/serial

问题记录-6 -------------------------------------------------------------------------------------------------------

/usr/bin/ld: cannot find -lhdf5

这个问题错误原因是因为找不到libhdf5.so文件。解决办法为首先使用命令：sudo find / -name libhdf5.so 寻找libhdf5.so的路径，之后将该路径加入Makefile.config文件的LIBRARY_DIRS中，例如：LIBRARY_DIRS := $(PYTHON_LIB) /usr/lib/x86_64-linux-gnu/hdf5/serial

编译caffe时提示找不到一些文件时，可以使用命令“sudo find / -name 文件名” 来找到相应的路径，再把相关路径加入到文件Makefile.config之中即可。

问题记录-7 -------------------------------------------------------------------------------------------------------

ImportError: 'No module named skimage.io'

错误原因是没有安装skimage模块，执行命令行：sudo apt-get install python-skimage 安装skimage包即可。

问题记录-8 -------------------------------------------------------------------------------------------------------

sudo: pip:command not found

错误原因是指令pip未安装，如果是python3以上的版本，执行命令行：sudo apt-get install python3-pip安装pip，如果是python2的版本，则执行命令行：sudo apt-get install python-pip

3、测试 MobileNet-SSD

在官网下载MobileNet-SSD源码，将MobileNet-SSD文件夹解压到caffe-ssd/example文件夹下。
进入MobileNet-SSD文件夹，里面存放有一个作者已训练好的模型、加载模型测试代码demo.py以及测试图片所存放的文件夹。
直接执行python demo.py可以直接对已训练好的 MobileNet-SSD进行测试，下面记录遇到的几个问题：

问题记录-9 -------------------------------------------------------------------------------------------------------

ImportError: No module named _caffe

这个问题的原因在于caffe没有与python建立调用链接，首先在Caffe路径下进入终端并执行命令行：

sudo make pycaffe

注意：每次重新编译了caffe后都需要执行：sudo make pycaffe 之后添加Caffe路径到环境变量：
1、直接在终端输入：

export PYTHONPATH=/....../caffe_ssd/python/

这种方法是一次性的，关闭终端再打开时更改就失效了。
2、永久写入环境变量中，执行如下命令行：

sudo gedit ~/.bashrc
export PYTHONPATH=/....../caffe_ssd/python/    #在~/.bashrc文件末尾中加入caffe/python路径
source ~/.bashrc   #使更改环境立刻生效

问题记录-10 -------------------------------------------------------------------------------------------------------

ImportError: No module named cv2

如果已正确安装OpenCV版本以及正确配置环境变量，尝试在终端下执行：sudo apt-get install python-opencv 建立与Python的链接。

问题记录-11 -------------------------------------------------------------------------------------------------------

No module named google.protobuf.internal

解决方法是安装protobuf最新版本，执行命令行：sudo apt-get install protobuf

下面是MobileNet-SSD的一些检测效果图：

2、Intel RealSense D435相机 的嵌入式环境搭建与实测

之前由于项目需要，在Jetson TX2上安装过Intel RealSense D435相机驱动，具体可参考我的博文：https://blog.csdn.net/nannan7777/article/details/103128397

在这个RK3399板子上进行SDK的apt-get方法安装时，会提示无法定位librealsense2-dkms安装包的位置，因此最后依旧采用源码编译的方式进行安装。这个过程中遇到了很多问题，现将其记录备案，便于后续查阅。

librealsense2 SDK 安装说明：
https://github.com/IntelRealSense/librealsense/blob/master/doc/distribution_linux.md
librealsense2 源码编译 安装说明：
https://github.com/IntelRealSense/librealsense/blob/master/doc/installation.md

1、安装librealsense2

参考librealsense2的官方源码编译安装说明，首先安装一些依赖库：

sudo apt-get install git libssl-dev libusb-1.0-0-dev pkg-config libgtk-3-dev
sudo apt-get install libglfw3-dev

之后在librealsense2官网下载源码，执行如下命令行完成编译与安装工作：

git clone https://github.com/IntelRealSense/librealsense.git
mkdir build && cd build
cmake ../ -DBUILD_EXAMPLES=true
make -j1
sudo make install

安装完毕后执行命令：realsense-viewer，如果显示如下界面则证明librealsense2已安装完成。
此时官方提供的的librealsense SDK版本为2.35.2。

下面是我在安装过程中遇到的一些问题：

问题记录-12 -------------------------------------------------------------------------------------------------------

fatal error: config.h: No such file or directory

在编译过程中遇到上述错误，错误原因是有一些依赖库没有安装，当时没有仔细查看说明文档漏掉了这一项。
可尝试执行如下命令行：

sudo apt-get install libusb-1.0-0-dev

问题记录-13 -------------------------------------------------------------------------------------------------------

Could NOT find OpenGL (missing: OPENGL_opengl_LIBRARY OPENGL_glx_LIBRARY
OPENGL_INCLUDE_DIR)

在编译过程中遇到上述错误，这个错误和问题12的错误原因一致，都是因为一些依赖库没有安装导致的。
可尝试执行如下命令行：

sudo apt-fast install libgl1-mesa-dev
sudo apt-get install freeglut3-dev

问题记录-14 -------------------------------------------------------------------------------------------------------

c++: internal compiler error: Killed (program cc1plus)

在编译过程中如果遇到上述错误说明内存空间不足，可使用make -j1 进行编译，如果还报上述错误则需要交换内存空间暂时扩容。

问题记录-15 -------------------------------------------------------------------------------------------------------

Failed to read busnum/devnum

这是我在安装结束后执行realsense-viewer时遇到的错误，RGB相机可以传输图像，但深度相机不可以。
从论坛上找到一个相同问题讨论帖，据说是usb3.0端口的问题：
https://forums.intel.com/s/question/0D70P0000068eD5SAI/failed-to-read-busnumdevnum?language=en_US&tstart=0
但狗血的是我最后更换为usb2.0端口解决了，就很玄学…

2、安装pyrealsense2

接下来安装librealsens2的python wapper，即pyrealsense2，实现librealsense2的python模块调用。
这个地方的坑挺多的，尤其是需要注意pyrealsense2依赖的python版本以及编译路径，具体在后文进行说明。
下面总结一下遇到的各种问题。

pyrealsense2 源码编译 安装说明：
https://github.com/IntelRealSense/librealsense/tree/master/wrappers/python

首先，按照官方手册的说明安装python，如果安装python2版本，执行：sudo apt-get install python python-dev ；如果安装python3版本，执行：sudo apt-get install python3 python3-dev

之后在librealsense文件夹的根目录下执行如下命令行完成pyrealsense2的编译与安装：

cd build
cmake ../ -DBUILD_PYTHON_BINDINGS:bool=true
make -j1
sudo make install

问题记录-16 -------------------------------------------------------------------------------------------------------

注意：这里一定是librealsense目录下而不是librealsense/wrappers/python/目录，否则会报如下错误：

CMake Error at CMakeLists.txt:57 (if):
if given arguments:
"STREQUAL" "RS2_USE_V4L2_BACKEND"
Unknown arguments specified
-- Configuring incomplete, errors occurred!

我在issues里找到了跟我犯了同样错误的可怜人，参考链接：https://github.com/IntelRealSense/librealsense/issues/4169 所以目测还会有人遇到这个问题，强烈建议官方把“the top level CMake”加粗大写标出来，这里很容易让人误解。

安装完成后执行如下命令行暂时配置python环境变量：

export PYTHONPATH=$PYTHONPATH:/usr/local/lib

官方给出了一些调用librealsense2的python代码，安装完成后可以进行测试，链接如下：https://github.com/IntelRealSense/librealsense/tree/master/wrappers/python/examples

这里给出我的测试demo.py：

import pyrealsense2 as rs
import numpy as np
import cv2

# Configure depth and color streams
pipeline = rs.pipeline()
config = rs.config()
config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30)
config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30)
# Start streaming
pipeline.start(config)

try:
    while True:
        # Wait for a coherent pair of frames: depth and color
        frames = pipeline.wait_for_frames()
        depth_frame = frames.get_depth_frame()
        color_frame = frames.get_color_frame()
        if not depth_frame or not color_frame:
            continue
        # Convert images to numpy arrays
        depth_image = np.asanyarray(depth_frame.get_data())
        color_image = np.asanyarray(color_frame.get_data())
        # Apply colormap on depth image (image must be converted to 8-bit per pixel first)
        depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, alpha=0.03), cv2.COLORMAP_JET)
        # Stack both images horizontally
        images = np.hstack((color_image, depth_colormap))
        # Show images
        cv2.namedWindow('RealSense', cv2.WINDOW_AUTOSIZE)
        cv2.imshow('RealSense', images)
        cv2.waitKey(1)

finally:
    # Stop streaming
    pipeline.stop()

最后，如果你使用的是python2版本，将librealsense/build/wrappers/python路径下的pyrealsense2.so.2.35.2与pybackend2.so.2.35.2文件拷贝至你要运行的python脚本旁边，如果是python3版本，这两个.so文件的命名方式会有一些变化，多出来一些信息，例如pyrealsense2.cpython-35m-aarch64-linux-gnu.so

执行测试脚本，如果能够正常显示如下界面则证明pyrealsense2已安装成功：

问题记录-17 -------------------------------------------------------------------------------------------------------

注意，如果你使用的是Python3版本，需要执行python3 demo.py进行测试脚本的运行，如果执行python demo.py会出现如下错误：

ImportError: No module named pyrealsense2

3、RealSense D435相机实测

注意，如果需要RealSense D435相机实时检测MobileNer-SSD网络，这里pyrealsense2依赖的python库版本需要和之前安装的caffe版本保持一致，否则会产生冲突无法调用。我之前的caffe默认使用的python2.7进行安装，而pyrealsense2在python2与python3版本都存在时默认会在python3版本上进行安装，因此这里我需要指定安装python2版本的pyrealsense2。

当我发现我安装的pyrealsense2与caffe冲突时，我在pyrealsense2官方说明中看到如下信息：
Note: To force compilation with a specific version on a system with both Python 2 and Python 3 installed, add the following flag to CMake command: -DPYTHON_EXECUTABLE=[full path to the exact python executable]
因此pyrealsense2在安装时应选择在python2版本上安装，使用命令-DPYTHON_EXECUTABLE=并在之后加上自己指定的python的可执行executable文件。

于是我先卸载了python3，并重新编译了pyrealsense2，在之前cmake那步添加python路径，执行如下命令行，但遇到了一些问题。

cmake ../ -DBUILD_PYTHON_BINDINGS:bool=true -DPYTHON_EXECUTABLE=/usr/bin/python2.7

问题记录-18 -------------------------------------------------------------------------------------------------------

CMake Error at wrappers/python/third_party/pybind11/tools/FindPythonLibsNew.cmake:95(message):
  Python config failure:
Call Stack (most recent call first):
  wrappers/python/third_party/pybind11/tools/pybind11Tools.cmake:16(find_package)
  wrappers/python/third_party/pybind11/CMakeLists.txt:33(include)
-- Configuring incomplete, errors occurred!

错误提示是在/usr/bin/python2.7路径下只找到了Python1.4版本，没有Python2.7版本，因此不满足编译条件。
解决办法是在文件wrappers/python/third_party/pybind11/tools/pybind11Tools.cmake的15行中添加2.7，因为这里的pybind11安装默认没有依赖python2.7这个版本。
再次编译后依旧是同样的错误，因此这次我直接运行：cmake ../ -DBUILD_PYTHON_BINDINGS:bool=true 没有指定python的路径，反而成功了，个人非常疑惑，在issues上也看到了有同样问题的病友但也没有相关解决策略。所以这里建议多试几次…

-----------------------------------------------2021.01.20------------------------------------------------------
最近在TX2上搭建pylibrealsense2时，发现这个命令能够正常运行，没有出现问题：

cmake ../ -DBUILD_PYTHON_BINDINGS:bool=true -DPYTHON_EXECUTABLE=/usr/bin/python2.7

-----------------------------------------------2021.01.20------------------------------------------------------

各种艰难，最后成功实现了使用RealSense D435相机在MobileNet-SSD网络上的实时检测，效果如下所示：

写的最用心的一篇博客，把过程中遇到的所有问题都记录了下来，并有尝试进行问题分析与解决，后面有时间的话可以继续记录一下使用MobileNet-SSD训练自己的数据集以及在OpenGL上的加速过程。

—— 在六月沉迷吸兔的乔木小姐