caffe,pytorch,openvino,protobuf,conda环境搭建 centos

最新推荐文章于 2023-08-05 06:00:13 发布

Tosonw

最新推荐文章于 2023-08-05 06:00:13 发布

阅读量973

点赞数

分类专栏： Linux C++ 深度学习文章标签： tensorflow caffe 深度学习 centos c++

本文链接：https://blog.csdn.net/Tosonw/article/details/103904528

版权

Linux 同时被 3 个专栏收录

11 篇文章 1 订阅

订阅专栏

深度学习

10 篇文章 0 订阅

订阅专栏

C++

3 篇文章 0 订阅

订阅专栏

一、环境

系统：

CentOS Linux 7

配置：

内存：31.1 GiB
CPU：Intel® Core™ i7-9700 CPU @ 3.00GHz × 8
显卡：Intel® HD Graphics (Coffeelake 3x8 GT2)
GNOME：Version 3.28.2
OS type：64-bit

二、编译安装

注：下面的所有下载均可参阅：https://blog.csdn.net/Tosonw/article/details/102837508

1. 安装yum依赖

$ sudo yum install gcc gcc-c++ glibc_headers libtool gtk2-devel vim git autoconf automake boost-devel bzip2 unzip

如果使用sudo命令报错：xxx is not in the sudoers file. This incident will be reported，参阅：https://blog.csdn.net/msllws/article/details/102821050

2. 安装conda

$ bash ./Miniconda3-4.5.4-Linux-x86_64.sh
# 按照提示输入即可
Do you accept the license terms? [yes|no]
[no] >>> yes
Miniconda3 will now be installed into this location:
/home/cyhc/miniconda3

  - Press ENTER to confirm the location
  - Press CTRL-C to abort the installation
  - Or specify a different location below

[/home/cyhc/miniconda3] >>> 
Do you wish the installer to prepend the Miniconda3 install location
to PATH in your /home/cyhc/.bashrc ? [yes|no]
[no] >>> no

Python环境配置：
配置conda内的Python-3.6为默认python环境：

# 打开环境变量文件
$ gedit ~/.bashrc
# 在末尾添加：
# added by Miniconda3 installer
export PATH="/home/user/miniconda3/bin:$PATH"
export LD_LIBRARY_PATH=/home/user/miniconda3/lib${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

注意：PATH里的user需要改为自己的用户名。

3. caffe依赖protobuf

因为caffe要和tensorflow自带的protobuf统一，是个大坑，所以要下载protobuf-3.6.0版本：
https://github.com/protocolbuffers/protobuf/releases/tag/v3.6.0

$ tar -zxvf protobuf-all-3.6.0.tar.gz
$ cd protobuf-3.6.0
$ ./configure --prefix=/usr/local
$ make -j$(nproc)
$ make check
$ sudo make install

4. caffe依赖leveldb

我用的是leveldb-1.20：
https://github.com/google/leveldb/archive/v1.20.tar.gz

（1）、tar -zxvf leveldb-1.20.tar.gz
（2）、cd leveldb-1.20
（3）、make -j$(nproc)
（4）、sudo cp -r include/leveldb /usr/local/include/
（5）、cd out-shared
（6）、sudo cp *so* /usr/local/lib/

5. caffe依赖snappy

我用的是snappy-1.1.4：
https://github.com/google/snappy/releases/download/1.1.4/snappy-1.1.4.tar.gz

（1）、tar -zxvf snappy-1.1.4.tar.gz
（2）、cd snappy-1.1.4 
（3）、./configure --prefix=/usr/local/
（4）、make -j$(nproc)
（5）、sudo make install

6. caffe依赖hdf5

我用的是hdf5-1.10.5：
https://support.hdfgroup.org/ftp/HDF5/releases/hdf5-1.10/hdf5-1.10.5/src/hdf5-1.10.5.tar.gz

（1）、tar -zxvf hdf5-1.10.5.tar.gz
（2）、cd hdf5-1.10.5
（3）、./configure --prefix=/usr/local/
（4）、make -j$(nproc)
（5）、make check -j$(nproc)
（6）、sudo make install
（7）、sudo make check-install

7. caffe依赖glog

我用的是glog-0.4.0：
https://github.com/google/glog/archive/v0.4.0.tar.gz

（1）、tar -zxvf glog-0.4.0.tar.gz
（2）、cd glog-0.4.0
（3）、./autogen.sh
（4）、./configure --prefix=/usr/local/
（5）、make -j$(nproc)
（6）、sudo make install

8. caffe依赖gflags

我用的是gflags-2.2.2：
https://github.com/gflags/gflags/archive/v2.2.2.tar.gz

（1）、tar -zxvf gflags-2.2.2.tar.gz
（2）、cd gflags-2.2.2
（3）、mkdir build && cd build
（4）、export CXXFLAGS="-fPIC" && cmake .. && make VERBOSE=1
（5）、make -j$(nproc) && sudo make install

9. caffe依赖lmdb

我用的是LMDB-0.9.23：
https://github.com/LMDB/lmdb/archive/LMDB_0.9.23.tar.gz

（1）、tar -zxvf lmdb-LMDB_0.9.23.tar.gz
（2）、cd lmdb-LMDB_0.9.23/libraries/liblmdb
（3）、make -j$(nproc)
（4）、sudo make install

10. caffe依赖openblas

我用的是openblas-0.3.5：
https://github.com/xianyi/OpenBLAS/archive/v0.3.5.tar.gz

（1）、tar -zxvf OpenBLAS-0.3.5.tar.gz
（2）、cd OpenBLAS-0.3.5
（3）、make  -j$(nproc)
（4）、sudo make PREFIX=/usr/local/ install

11. caffe编译安装

我用的是caffe-1.0：
https://github.com/BVLC/caffe/archive/1.0.tar.gz

# 依赖项（暂无）
#$ sudo apt-get install 
$ cd caffe/
# 修改选项 # 修改Makefile.config，例如我们可以打开CPU_ONLY选项。
$ cp Makefile.config.example Makefile.config
$ gedit Makefile.config

配置为GPU：

# 编译GPU的，这里要修改使用cudnn：
# 我是打开了USE_CUDNN选项，关闭CPU_ONLY选项，如下：
 USE_CUDNN := 1
 # CPU_ONLY := 1
 USE_OPENCV := 0
 OPENCV_VERSION := 3
 CUDA_DIR := /usr/local/cuda
 BLAS := open

配置为CPU：

# 编译CPU的，这里要关闭USE_CUDNN选项，开启CPU_ONLY选项，
# 并根据自己的情况使不使用`WITH_PYTHON_LAYER := 1`（使用的话配置较为复杂，请参阅后面的介绍。）
 # USE_CUDNN := 1
 CPU_ONLY := 1
 USE_OPENCV := 0
 OPENCV_VERSION := 3
 # CUDA_DIR := /usr/local/cuda
 BLAS := open
 # WITH_PYTHON_LAYER := 1

~~如果使用python自定义层，即WITH_PYTHON_LAYER := 1，请参考下面自行修改Makefile.config：~~

ANACONDA_HOME := $(HOME)/anaconda3
  PYTHON_INCLUDE := $(ANACONDA_HOME)/include \
  $(ANACONDA_HOME)/include/python3.6m \
 $(ANACONDA_HOME)/lib/python3.6/site-packages/numpy/core/include
 # Uncomment to use Python 3 (default is Python 2)
  PYTHON_LIBRARIES := boost_python36 python3.6m
PYTHON_LIB := $(ANACONDA_HOME)/lib
WITH_PYTHON_LAYER := 1
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial

编译：

$ make clean # 如果编译有奇怪问题，干脆直接clean一下。
$ make all -j$(nproc)

遇到报错：

# hdf5库问题：
/usr/bin/ld: cannot find -lhdf5_serial_hl
/usr/bin/ld: cannot find -lhdf5_serial
collect2: error: ld returned 1 exit status
# 自己编译的hdf5生成的so是libhdf5.so和libhdf5_hl.so，所以软链接一下：
$ sudo ln -s /usr/local/lib/libhdf5.so /usr/local/lib/libhdf5_serial.so
$ sudo ln -s /usr/local/lib/libhdf5_hl.so /usr/local/lib/libhdf5_serial_hl.so

12. openvino安装

参考博客：https://blog.csdn.net/Tosonw/article/details/91980108
下载（Linux）：https://software.intel.com/en-us/openvino-toolkit/choose-download/free-download-linux
会填写一些必要的信息，版本选择2019 R2，选Full Package下载。
下载的文件名：l_openvino_toolkit_p_2019.2.242.tgz

$ tar -zxvf l_openvino_toolkit_p_<version>.tgz
$ cd l_openvino_toolkit_p_2019.1.144/
# 如果您安装了以前版本的Intel Distribution of OpenVINO工具包，请重命名或删除这两个目录：
# /home/<user>/inference_engine_samples
# /home/<user>/openvino_models
# 安装
$ sudo ./install_GUI.sh

安装很简单，一直下一步就行。

13. pytorch

参考博客：https://blog.csdn.net/Tosonw/article/details/102837508

如果是python下安装，比较简单：$ pip install torch torchvision

下面介绍基于C++的安装：
PyTorch的C++调用库可以在官网直接下载，解压即可，无需安装。
在这里插入图片描述
https://pytorch.org/get-started/locally/
https://download.pytorch.org/libtorch/cu100/libtorch-shared-with-deps-latest.zip
由于当时下载了1.3.0版本来用，发现有问题，所以找到了1.2.0版本：
我是在这里下载的1.2.0版本：
https://download.pytorch.org/libtorch/cu100/libtorch-cxx11-abi-shared-with-deps-1.2.0.zip
这个是cpu版本的：
https://download.pytorch.org/libtorch/cpu/libtorch-cxx11-abi-shared-with-deps-1.2.0%2Bcpu.zip
下载后解压到自己的文件夹，即可使用。

14. Centos7升级gcc

参考：https://www.jianshu.com/p/36f5d3524240

yum方式升级（7.3.0）：

sudo yum install centos-release-scl -y
sudo yum install devtoolset-7 -y
scl enable devtoolset-7 bash

源码编译方式：
gcc-5.4.0下载：
https://mirrors.ustc.edu.cn/gnu/gcc/gcc-5.4.0/gcc-5.4.0.tar.gz

tar -zxvf gcc-5.4.0.tar.gz
cd gcc-5.4.0/
#./contrib/download_prerequisites
./configure --enable-checking=release --enable-languages=c,c++ --disable-multilib
make -j$(nproc)
# 先备个份
sudo mv /usr/bin/g++ /usr/bin/g++_bk4.8.5
sudo mv /usr/bin/gcc /usr/bin/gcc_bk4.8.5
sudo mv /usr/include/c++ /usr/include/c++_bk4.8.5
sudo mv /usr/lib64/libstdc++.so.6 /usr/lib64/libstdc++.so.6_bk4.8.5
sudo mv /usr/lib64/libstdc++.so.6.0.19 /usr/lib64/libstdc++.so.6.0.19_bk4.8.5
# 再install
sudo make install
# 安装是安装在：/usr/local/bin/gcc，需要软连接一下。
sudo ln -s /usr/local/bin/gcc /usr/bin/gcc
sudo ln -s /usr/local/bin/g++ /usr/bin/g++
sudo ln -s /usr/local/include/c++/5.4.0 /usr/include/c++/5.4.0
sudo ln -s /usr/local/lib64/libstdc++.so.6.0.21 /usr/lib64/libstdc++.so.6

Tosonw

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
caffe,pytorch,openvino,protobuf,conda环境搭建 centos

一、环境系统：CentOS Linux 7配置：内存：31.1 GiBCPU：Intel® Core™ i7-9700 CPU @ 3.00GHz × 8显卡：Intel® HD Graphics (Coffeelake 3x8 GT2)GNOME：Version 3.28.2OS type：64-bit二、编译安装注：下面的所有下载均可参阅：https://blog.csdn...
复制链接

扫一扫