centos 7.1下部署MXNet （包括多节点环境及运行）

最新推荐文章于 2021-05-08 12:22:15 发布

__Sunny__

最新推荐文章于 2021-05-08 12:22:15 发布

阅读量3.1k

点赞数 1

分类专栏： MXNet 文章标签： mxnet

本文链接：https://blog.csdn.net/s_sunnyy/article/details/56479077

版权

本文详细介绍了在CentOS 7.1系统下部署MXNet的步骤，涵盖从安装opencv、Python相关工具包，到设置环境变量，编译MXNet，安装Python支持，以及数据集转化。此外，还特别强调了分布式多GPU节点训练的环境搭建，包括修改编译选项、安装依赖包和运行示例。

摘要由CSDN通过智能技术生成

1. 安装opencv

1.1 安装CMake

获取CMake源码包 cmake-3.7.1.tar.gz，（安装部分均使用的root账号）

tar -xvzf cmake-3.7.1.tar.gz
cd cmake-3.7.1
./bootstrap
gmake 
gmake install

查看是否安装成功 cmake –version

1.2 下载ippicv

下载 ippicv_linux_20151201.tgz，然后将其拷贝至opencv源码下的这个目录 opencv/3rdparty/ippicv/downloads/linux-808b791a6eac9ed78d32a7666804320e/

1.3 安装opencv

下载 opencv-master.zip

unzip opencv-master.zip
cd opencv
mkdir -p build
cd build
cmake -D BUILD_opencv_gpu=OFF -D WITH_EIGEN=ON -D WITH_TBB=ON -D WITH_CUDA=OFF -D WITH_1394=OFF -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/home/huangx/mxnetlib ..
make
make install

将其添加到环境变量中
export PKG_CONFIG_PATH=/home/huangx/mxnetlib/lib/pkgconfig:$PKG_CONFIG_PATH

2. 安装Python相关工具包

下载setuptools、pip、python-devel-2.7.5-16.el7.x86_64、numpy

2.1 安装setuptools

tar -xvzf setuptools-12.0.3.tar.gz
cd setuptools-12.0.3/
python setup.py install

2.2 安装pip

tar -xvzf pip-1.4.tar.gz
cd pip-1.4/
python setup.py build
python setup.py install

2.3 安装python-devel-2.7.5-16.el7.x86_64

rpm -ivh python-devel-2.7.5-16.el7.x86_64.rpm

或者直接yum安装

yum search python | grep -i devel
yum install python-devel.x86_64

2.4 安装numpy

unzip numpy-1.11.3.zip
cd numpy-1.11.3/
python setup.py install

验证numpy安装成功

python
  >>import numpy
  >>

3. 设置环境变量

以下是我的.bashrc文件（编译及运行实例部分使用的个人账号）。

[huangx@dl4 root]$ cat ~/.bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# Uncomment the following line if you don't like systemctl's auto-paging feature:
# export SYSTEMD_PAGER=

# User specific aliases and functions

export LANG="en_US.UTF-8"
export LANGUAGE="en_US.UTF-8"


export LD_LIBRARY_PATH=/home/huangx/caffelib_dl1home/lib:$LD_LIBRARY_PATH
export PATH=/home/huangx/mxnetlib/bin:$PATH
export PATH=/home/huangx/caffelib_dl1home/bin:$PATH
export CPLUS_INCLUDE_PATH=/home/huangx/caffelib_dl1home/include:$CPLUS_INCLUDE_PATH
source /opt/intel/impi/2017.0.098/bin64/mpivars.sh

export PKG_CONFIG_PATH=/home/huangx/mxnetlib