pip install scikit-image=0.14.1
SNIPER听说是300ms一张
服务器配置SNIPER:
这个不行 pip install mxnet-cu80
https://www.jianshu.com/p/45ffeec98401
第一步:MXnet安装和编译
MXNet安装其实是从c++文件make编译成动态库到incubator-mxnet/lib/libmxnet.so,而incubator-mxnet/python其实是用python调用c++库的方法封装,然后用pip安装到python,之后example里面的文件就可以import mxnet as mx了。
Linux-Python-CPU-Build from Source on Ubuntu安装。
- 查看系统
lsb_release -a
- Minimum Requirements
GCC版本:gcc -v
GNU Make:已安装
- Step 1 Install build tools and git.
$ sudo apt-get update $ sudo apt-get install -y build-essential git
- Step 2 Install OpenBLAS
$ sudo apt-get install -y libopenblas-dev liblapack-dev
- Step 3 Install OpenCV.
$ sudo apt-get install -y libopencv-dev
- Step 4 Download MXNet sources and build MXNet core shared library.
$ git clone --recursive https://github.com/apache/incubator-mxnet $ cd incubator-mxnet $ make -j $(nproc) USE_OPENCV=1 USE_BLAS=openblas
cd incubator-mxnet git submodule init git submodule update
出错:src/nnvm/tvm_bridge.cc:37:37: fatal error: tvm/runtime/packed_func.h: No such file or directory
- 查看:issues
git submodule update --init --recursive
ps:make时间很长。
- Build the MXNet Python binding
sudo pip uninstall mxnet cd python pip install --upgrade pip sudo pip install -e .
将 incubator-mxnet /libmxnet.so*拷贝到/SNIPER-mxnet里面
/home/yuanyq/Detect_DL/SNIPER/SNIPER-mxnet/lib/libmxnet.so*
make -j 1 USE_CUDA_PATH=/usr/local/cuda USE_NCCL=1
fatal error: cblas.h: No such file or directory:
sudo apt-get install libopenblas-dev
fatal error: tvm/runtime/packed_func.h: No such file or directory
/usr/bin/ld: cannot find -lcblas:
sudo apt-get install libatlas-base-dev
在incubator-mxnet文件夹里编译:cmake -j USE_CUDA=1 USE_CUDA_PATH=/usr/local/cuda USE_CUDNN=1 USE_MKLDNN=1 .
将得到的bin文件夹和libsample_lib.so* 拷贝到SNIPER-mxnet文件夹里,就可以在SNIPER-mxnet里编译成功了。
cmake -j USE_CUDA=1 USE_CUDA_PATH=/usr/local/cuda USE_CUDNN=1 USE_MKLDNN=1 .
File "setup_linux.py", line 51, in locate_cuda
for k, v in cudaconfig.iteritems():
AttributeError: 'dict' object has no attribute 'iteritems'
Python3.5中:iteritems变为items
cd lib/bbox
9 python setup_linux.py build_ext --inplace
10 cd ../dataset/pycocotools
11 python setup_linux.py build_ext --inplace
12 cd ../../nms
13 python setup_linux.py build_ext --inplace
14 cd ../..
compile成功!
第二步. TVM安装
这部分之前就写过,为了方便,这里再复制一遍。
首先下载代码
git clone --recursive https://github.com/dmlc/tvm
这个地方最好使用--recursive选项,不然会缺dlpack这些库,原因是
子模组 'HalideIR' (https://github.com/dmlc/HalideIR) 未对路径 '3rdparty/HalideIR' 注册
子模组 'dlpack' (https://github.com/dmlc/dlpack) 未对路径 '3rdparty/dlpack' 注册
子模组 'dmlc-core' (https://github.com/dmlc/dmlc-core) 未对路径 '3rdparty/dmlc-core' 注册
子模组 '3rdparty/rang' (https://github.com/agauniyal/rang) 未对路径 '3rdparty/rang' 注册
sudo apt-get update
sudo apt-get install -y python python-dev python-setuptools gcc libtinfo-dev zlib1g-dev
创建要编译生成so的文件夹(该文件夹位于tvm源码目录下,与src同级)
mkdir build
拷贝一份官方的cmake文件进行(测试时先使用官方的,之后这个config.camke文件我们要进行修改以支持更多的设备)
cp cmake/config.cmake build
修改该文件,这里我们的服务器上支持CUDA和LLVM的环境,因此将这两个配置打开
set(USE_CUDA OFF)
set(USE_LLVM OFF)
修改为:
set(USE_CUDA ON)
set(USE_LLVM ON)
修改好配置文件后,进行编译。因为修改了两个编译选项,因此首先需要cmake重新生成Makefile,以后每次新添加了文件和文件夹,一定要重新cmake,否则文件很可能没有编译。
cd build
好像最新版本编译出来的默认不是debug版本,为了保险,手动选择Debug选项
cmake -DCMAKE_BUILD_TYPE=Debug ..
make -j4
上边的三个步骤,非常关键,建议不要随便改变
在无错误编译完成后,build目录下形成了libtvm*.so之类的文件,我们因为要修改tvm,所以不建议移动这些so文件到python目录下,建议添加响应的配置。具体配置如下:
在.bashrc文件中,添加
export TVM_PATH=path/to/tvm
export PYTHONPATH=$TVM_PATH/python:$TVM_PATH/topi/python:$TVM_PATH/nnvm/python:${PYTHONPATH}
第三步:安装llvm
下载llvm的源代码
wget http://llvm.org/releases/3.6.0/llvm-3.6.0.src.tar.xz tar xf llvm-3.6.0.src.tar.xz mv llvm-3.6.0.src llvm
下载clang的源代码
cd llvm/tools wget http://llvm.org/releases/3.6.0/cfe-3.6.0.src.tar.xz tar xf cfe-3.6.0.src.tar.xz mv cfe-3.6.0.src clang cd ../..
下载clang-tools-extra的源代码
cd llvm/tools/clang/tools wget http://llvm.org/releases/3.6.0/clang-tools-extra-3.6.0.src.tar.xz tar xf clang-tools-extra-3.6.0.src.tar.xz mv clang-tools-extra-3.6.0.src extra cd ../../../..
下载compiler-rt的源代码
cd llvm/projects wget http://llvm.org/releases/3.6.0/compiler-rt-3.6.0.src.tar.xz tar xf compiler-rt-3.6.0.src.tar.xz mv compiler-rt-3.6.0.src compiler-rt cd ../..
配置编译选项
cd .. ./configure --enable-optimized CC=gcc CXX=g++
编译llvm
make -j2
编译成功后的提示:
llvm[0]: ***** Completed Release+Asserts Build
安装编译好的llvm
sudo make install
会安装在/usr/local/bin中
检查clang的版本
clang –version
sudo pip install cython
安装easydict
pip install --user easydict -i https://pypi.mirrors.ustc.edu.cn/simple
Ubuntu16.04下Cython编译出现command 'gcc' failed with exit status 1
- sudo apt-get install python3-dev
- sudo apt-get install libevent-dev
ubuntu下安装gcc/g++ 7(在终端依次输入以下指令)
sudo add-apt-repository ppa:ubuntu-toolchain-r/test
sudo apt-get update
sudo apt-get install gcc-7
sudo apt-get install g++-7
安装完成后输入以下指令链接上gcc/g++ 7
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 70 --slave /usr/bin/g++ g++ /usr/bin/g++-7
或者通过以下指令进行链接
cd /usr/bin #进入/usr/bin文件夹下
sudo rm -r gcc #移除之前的软连接
sudo ln -sf gcc-7 gcc #建立软连接
sudo rm -r g++ #同gcc
sudo ln -sf g++-7 g++
也可以通过以下指令直接选择一个版本的gcc/g++
sudo update-alternatives --config gcc
Q:ImportError: No module named 'cpu_nms'
改为lib.nms.cpu_nms
Q:ImportError: No module named 'copy_reg'
import copyreg copyreg.pickle(types.MethodType, _pickle_method)
Q:ImportError: No module named 'cPickle'
Use six.moves.cPickle instead to support both Python 2 and 3.