GPU深度学习服务器搭建：Ubuntu16.04.2+CUDA8.0+OpenCV3.1.0+Caffe 安装步骤

最新推荐文章于 2020-11-25 14:37:28 发布

FnLee_BUPT

最新推荐文章于 2020-11-25 14:37:28 发布

阅读量549

点赞数 1

本文链接：https://blog.csdn.net/weixin_38635229/article/details/81316821

版权

本文介绍了在GPU服务器（已安装ubuntu16.04.2系统，方法自行搜索，版本是16.04就可以）上搭建CAFFE深度学习环境的方法，参考了其他几位前辈的博客，并在此基础上结合我在实际操作过程中遇到的问题加以补充完善，最终完成了服务器的配置。

参考文献：

https://blog.csdn.net/yhaolpz/article/details/71375762

https://blog.csdn.net/qq_42517195/article/details/80834655

https://blog.csdn.net/lengconglin/article/details/77189447

https://www.cnblogs.com/Anker/p/3209876.html

https://blog.csdn.net/qq_36673141/article/details/77164826

主要步骤：

安装依赖包 + 禁用新风
配置环境变量
下载 + 安装CUDA 8.0 + 验证是否安装成功
安装cudnn
安装opencv3.1
安装朱古力
安装pycaffe
配置可远程访问的网络环境
使用MNIST数据集验证来自Caffe是否安装成功

第1步安装依赖包+禁用新风

安装后续步骤或环境必需的依赖包，依次输入以下命令：

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler

sudo apt-get install --no-install-recommends libboost-all-dev

sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

sudo apt-get install git cmake build-essential

安装好依赖包后只有禁用nouveau才能顺利安装NVIDIA显卡驱动，禁用方法就是在/etc/modprobe.d/blacklist-nouveau.conf文件中添加一条禁用命令，首先需要打开该文件：

sudo gedit /etc/modprobe.d/blacklist-nouveau.conf

打开后发现该文件中没有任何内容，写入：

blacklist nouveau option nouveau modeset = 0

保存时命令窗口可能会出现以下提示（无视此提示就可以）：

**（gedit：4243）：警告**：设置文档元数据失败：不支持设置属性metadata :: gedit-position

保存后关闭文件，注意此时还需执行以下命令使禁用nouveau生效：

sudo update-initramfs –u

第2步配置环境变量

同样使用gedit命令打开配置文件：

sudo gedit ~/.bashrc

（这一命令用处非常大，在最后CAFFE编译提示找不到某个库文件时，搜索该库文件所在位置，使用该命令进入配置文件后，添加该库文件的路径）

打开后在文件最后加入以下两行内容：

export LD_LIBRARY_PATH = / usr / lib / x86_64-linux-gnu：$ LD_LIBRARY_PATH

export LD_LIBRARY_PATH = / lib / x86_64-linux-gnu：$ LD_LIBRARY_PATH

保存退出。

第3步下载+安装CUDA 8.0+验证是否安装成功

进入https://developer.nvidia.com/cuda-80-ga2-download-archive ,依次选择CUDA类型然后下载即可。

1.5G的CUDA中包含了nvidia显卡驱动安装包，此时注意你是否已经安装过nvidia显卡驱动（一般重新装系统之后的机器都没有nvidia显卡驱动），若无法保证已安装的nvidia显卡驱动一定正确，那就卸载掉之前安装的nvidia显卡驱动，然后开始安装CUDA 8.0;若可以保证已安装正确的nvidia显卡驱动，则直接开始安装CUDA 8.0，在安装过程中选择不再安装nvidia显卡驱动。

为了方便开始安装过程的路径查找，把下载的CUDA安装文件移动到HOME路径下，然后通过Ctrl + Alt + F1进入文本模式，输入帐号密码登录，在文本模式登录后首先关闭桌面服务：

sudo service lightdm stop

然后通过Ctrl + Alt + F7发现已经无法成功返回图形化模式，说明桌面服务已成功关闭，注意此步对接下来的nvidia驱动安装尤为重要，必需确保桌面服务已关闭。

再次通过Ctrl + Alt + F1进入文本模式，然后运行CUDA安装文件进行安装，直接通过sh命令运行安装文件即可：

sudo sh cuda_8.0.61_375.26_linux.run --no-opengl-libs

其中cuda_8.0.61_375.26_linux.run是我的CUDA安装文件名，而你需替换为自己的CUDA安装文件名，若此时忘记可直接通过ls文件查看文件名，这也是把CUDA安装文件移动到HOME下的另一个原因。

执行此命令约1分钟后会出现0％信息（这是安装前需要阅读的条款，不用看），此时长按回车键让此百分比增长，直到100％，然后输入接受。然后选择是否安装nvidia驱动，若之前未安装则输入“y”，若确保已安装正确驱动则输入“n”。

剩下的选择则都输入“y”确认安装或默认路径安装，开始安装，此时若出现安装失败提示可可为未关闭桌面服务或在已安装nvidia驱动的情况下重复再次安装nvidia驱动，安装成功后会显示：

Driver ：Installed
Toolkit ：Installed in /usr/local/cuda-8.0
Samples ：Installed in /home/fnlee

之后输入重启命令重启就OK了：

Reboot

重启后登录进入系统，配置CUDA环境变量，与第2步相同，使用gedit命令打开配置文件：

sudo gedit ~/.bashrc

在该文件最后加入以下两行并保存：

export PATH = / usr / local / cuda-8.0 / bin：$ PATH

export LD_LIBRARY_PATH = / usr / local / cuda / lib64：$ LD_LIBRARY_PATH

使该配置生效：

source ~/.bashrc

验证CUDA 8.0是否安装成功，分别执行以下命令：

cd /usr/local/cuda-8.0/samples/1_Utilities/deviceQuery

sudo make

./deviceQuery

若看到类似以下信息则说明cuda已安装成功：

第4步安装cudnn

登录官网：https：//developer.nvidia.com/rdp/cudnn-download ,下载对应cuda版本和linux系统的cudnn压缩包，注意官网下载cudnn需要注册帐号（建议用邮箱注册，网站响应可能会比较慢，耐心等待，多次尝试就好）并登录。

下载完成后解压，得到一个cuda文件夹，该文件夹下包含和lib64两个文件夹，命令行进入cuda / include路径下，然后进行以下操作：

sudo cp cudnn.h /usr/local/cuda/include/

然后命令行进入cuda / lib64路径下，运行以下命令：

sudo cp lib* /usr/local/cuda/lib64/  #复制动态链接库

cd /usr/local/cuda/lib64/

sudo rm -rf libcudnn.so libcudnn.so.5  #删除原有动态文件

sudo ln -s libcudnn.so.5.1.10 libcudnn.so.5  #生成软衔接

sudo ln -s libcudnn.so.5 libcudnn.so  #生成软链接

安装完成后可用

 nvcc -V

命令验证是否安装成功，若出现以下信息则表示安装成功：

用NVIDIA-SMI查看显卡情况（也可以验证安装成功）：

第5步安装opencv3.1.0

进入官网：http： //opencv.org/releases.html，选择3.1.0版本的源码，下载opencv-3.1.0.zip

解压到你要安装的位置，命令行进入已解压的文件夹opencv-3.1.0目录下，执行：

mkdir build

cd build

cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..

解决opecv3.1与cuda8.0不兼容的问题：

修改/opencv-3.1.0/modules/cudalegacy/src/graphcuts.cpp文件内容，如图：

保存之后编译：

make -j  #编译

在编译过程中可能会遇到：

“安装OpenCv 3.1的过程中要下载ippicv_linux_20151201，由于网络的原因，这个文件下载失败。”

解决的办法是手动下载：ippicv_linux_20151201.tgz

（下载链接：https：//blog.csdn.net/qq_42517195/article/details/80834655）

下载完后替换opencv-3.1.0 / 3rdparty / ippicv / downloads / linux- *目录下的同名文件，重新make -j。

编译成功后安装：

sudo make install

安装完成后通过查看opencv版本验证是否安装成功：

pkg-config --modversion opencv

验证结果：

第6步安装caffe

首先在你要安装的路径下（首页）下载caffe：

git clone https://github.com/BVLC/caffe.git

进入caffe，将Makefile.config.example文件复制一份并更名为Makefile.config，也可以在caffe目录下直接调用以下命令完成复制操作：

sudo cp Makefile.config.example Makefile.config

复制一份的原因是编译caffe时需要的是Makefile.config文件，而Makefile.config.example只是caffe给出的配置文件例子，不能用来编译caffe。

然后修改Makefile.config文件，在caffe目录下打开该文件：

sudo gedit Makefile.config

修改Makefile.config文件内容：

修改python路径（如果已经安装好Anaconda就直接用这两行下边Anaconda的路径）：

将

INCLUDE_DIRS：= $（PYTHON_INCLUDE）/ usr / local / include

LIBRARY_DIRS：= $（PYTHON_LIB）/ usr / local / lib / usr / lib

修改为：

INCLUDE_DIRS：= $（PYTHON_INCLUDE）/ usr / local / include / usr / include / hdf5 / serial

LIBRARY_DIRS：= $（PYTHON_LIB）/ usr / local / lib / usr / lib / usr / lib / x86_64-linux-gnu / usr / lib / x86_64-linux-gnu / hdf5 / serial

*******楼主之后又从头开始配了一台cuda9.0+opencv3.4.0的服务器，完成上述部分后无需设置以下三步就编译通过了********

修改caffe目录下的Makefile文件：

将：

NVCCFLAGS + = - ccbin = $（CXX）-Xcompiler-fPIC $（COMMON_FLAGS）

替换为：

NVCCFLAGS + = -D_FORCE_INLINES -ccbin = $（CXX）-Xcompiler -fPIC $（COMMON_FLAGS）

将：

LIBRARIES + = glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5

改为：

LIBRARIES + = glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

修改/usr/local/cuda/include/host_config.h文件：

将

#error--不支持的GNU版本！不支持超过4.9的gcc版本！

改为

// #error--不支持的GNU版本！不支持超过4.9的gcc版本！

******************************************************************三步******************************************************************

可以开始编译了，在caffe目录下执行：

make all –j

若编译过程出现错误，修改后必须运行

make clean

之后再次编译。

编译成功后可进行测试：

make runtest –j

若出现如下结果，则表示朱古力安装成功：

我在测试时出现了错误（找不到libopencv_core.so.3.1这个动态链接库）：

解决方法：

搜索到libopencv_core.so.3.1的路径为：/usr/local/cuda-8.0/lib64

将其添加到配置文件中，使用gedit命令打开配置文件：

sudo gedit ~/.bashrc

在该文件最后加入这一行并保存：

export LD_LIBRARY_PATH = / usr / local / cuda-8.0 / lib64：$ LD_LIBRARY_PATH

使该配置生效：

source ~/.bashrc

如果仍有同样的错误可以尝试依次输入以下命令：

sudo ldconfig

cat /etc/ld.so.conf

如果仍有问题，可以搜索“的Linux搜索不到共享库的解决方法”

加载共享库时出错：xxx.so.x“ 错误的原因和解决办法

如：https：//www.cnblogs.com/Anker/p/3209876.html

第7步安装pycaffe

在上一步成功安装caffe之后，就可以通过caffe去训练数据集了，需要在命令行下通过caffe命令进行操作，而这一步pycaffe的安装是为了更方便的去使用caffe，实际上大多数都是通过python来操作caffe的，可以更方便的编写和执行python代码。

cd caffe

sudo make pycaffe -j

我编译pycaffe时出现的错误：

python / caffe / _caffe.cpp:10:31：致命错误：numpy / arrayobject.h：没有这样的文件或目录

解决方法：

sudo apt-get install python-numpy

再次编译就可以安装成功了。

第8步配置可远程访问的网络环境

当我们搭好之前的所有环境后，需要使用XSHELL和信息xFTP远程连接服务器，直接连一般都会失败因此在连接之前需要安装OpenSSH的，命令如下：

sudo apt-get install openssh-server openssh-client

安装完成之后，执行netstat -tnl命令，查看22端口是否开通：

LISTEN状态说明设置成功。

第9步使用MNIST数据集验证Caffe是否安装成功

详细操作请参考：https：//blog.csdn.net/qq_36673141/article/details/77164826

FnLee_BUPT

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
0
评论
GPU深度学习服务器搭建：Ubuntu16.04.2+CUDA8.0+OpenCV3.1.0+Caffe 安装步骤

本文介绍了在GPU服务器（已安装ubuntu16.04.2系统，方法自行搜索，版本是16.04就可以）上搭建CAFFE深度学习环境的方法，参考了其他几位前辈的博客，并在此基础上结合我在实际操作过程中遇到的问题加以补充完善，最终完成了服务器的配置。参考文献：https://blog.csdn.net/yhaolpz/article/details/71375762https://blog...
复制链接

扫一扫