Linux服务器端无权限搭建 Caffe + CUDA9.0记录（上）

最新推荐文章于 2024-04-30 17:14:41 发布
置顶 最新推荐文章于 2024-04-30 17:14:41 发布
阅读量636 收藏 3
点赞数 1
分类专栏： 学习记录 文章标签： caffe深度学习框架 无权限配置 学习记录 linux 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AliceZyxw/article/details/96172285
版权

Linux服务器端无权限搭建 Caffe + CUDA9.0记录（上）

搭建过程主要参考了

[1] Linux服务器无权限安装caffe教程
[2] linux-no-root-install-log
[3] Ubuntu下编译caffe

官方安装教程

Caffe Installation

前言

网上大多数教程都是在本地环境中搭建caffe，依赖只需要通过sudo apt-get就可以进行安装。由于自己的电脑性能无法满足训练的需要，需要在服务器上进行训练，而实验室分配的账号并没有root权限，因此无法使用sudo命令，此时需要自己手动下载和安装所有的依赖，并添加对应的环境变量来使得caffe能够成功编译安装。文章是对自己安装过程的记录，主要的命令代码都是参照Linux服务器无权限安装caffe教程，有一些小的更改和整合。如果遇到相同的问题，希望可以给到一些帮助。

1、CUDA的安装配置

大多数服务器已经安装好了CUDA，输入：

nvcc -V(大写V)

如果成功输出：

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2017 NVIDIA Corporation
Built on Fri_Sep__1_21:08:03_CDT_2017
Cuda compilation tools, release 9.0, V9.0.176 //这个部分为你所安装的版本号

说明你的CUDA已经安装成功。此时需要将CUDA添加在你的环境变量中：

vi ~/.bashrc
//在文件的末尾添加：
export PATH=$PATH:/usr/local/cuda-9.0/bin  //cuda的路径可以使用 whereis cuda-(版本号)查看
export LD_LIBRARY_PATH=:$LD_LIBRARY_PATH:/usr/local/cuda-9.0/lib64 
//退出编辑后使用：
source ~/.bashrc  //使环境变量生效

如果需要自己安装CUDA可以参考Linux无root无sudo权限在用户目录安装cuda9.2和cudnn7.1

Tip1:

如果遇到bashrc文件编辑出错，无法使用vi/vim编辑，可通过输入如下命令再打开文件即可：

export PATH=/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin  //恢复编辑
2、依赖的安装配置

根据参考教程[1]首先我们需要在自己的服务器文件夹中创建两个文件夹，依次执行：

mkdir temp //存放所有的压缩文件、源码
mkdir local  //存放所有的头文件、库、和可执行程序

在后文中所有的root_path都要更改为你自己的根目录，几乎所有的依赖都可以通过命令顺利的下载，这里将我已经下载过的文件放在网盘里，如果有下载不顺利的情况可以自取：https://pan.baidu.com/s/115mJhWn0UGVJhxxVqEtu6w 提取码：txhu ,下载之后将文件放至temp中。

2.1、安装配置过程过程中所需要的工具
(1)m4
 cd temp
 //如果之前以已经下载过网盘中的依赖可跳过 wget，后面同理
 wget http://ftp.gnu.org/gnu/m4/m4-1.4.18.tar.gz
 tar zxvf m4-1.4.18.tar.gz
 cd m4-1.4.18
 ./configure --prefix=/root_path/local
 make
 make install
(2)autoconf
 cd temp
 wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.69.tar.gz
 tar zxvf autoconf-2.69.tar.gz
 cd autoconf-2.69
 ./configure --prefix=/root_path/local
 make
 make install
(3)automake
 cd temp
 wget http://ftp.gnu.org/gnu/automake/automake-1.16.1.tar.gz
 tar zxvf automake-1.16.1.tar.gz
 cd automake-1.16.1
 ./configure --prefix=/root_path/local
 make
 make install
(4)libtool
 cd temp
 wget http://mirror.csclub.uwaterloo.ca/gnu/libtool/libtool-2.4.6.tar.gz
 cd libtool-2.4.6
 tar zxvf libtool-2.4.6.tar.gz
 ./configure --prefix=/root_path/local
 make
 make install

安装编译完成之后需要将其添加到环境变量中，使用：

vi ~/.bashrc
//按i进入编辑模式，在文件末尾输入以下
export PATH=$PATH:/root_path/local/bin
export LIBRARY_PATH=$LIBRARY_PATH:/root_path/local/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root_path/local/lib
//按ESC退出编辑模式，在输入：wq 保存并退出
//退出文件后输入：
source ~/.bashrc  //更新环境变量

//最后可以输入以下命令来判断是否安装成功：
m4 --version
autoconf --version
automake --version
libtool --version

其中LIBRARY_PATH是程序编译期间查找动态链接库时指定查找共享库的路径，LD_LIBRARY_PATH是程序加载运行期间查找动态链接库时指定除了系统默认路径之外的其他路径。

2.2、安装依赖
(1)boost
cd temp
wget https://dl.bintray.com/boostorg/release/1.67.0/source/boost_1_67_0.tar.gz
tar zxvf boost_1_67_0.tar.gz
cd boost_1_67_0
./bootstrap.sh --prefix=/root_path/local
./b2 -j4
./b2 install

在这里参考教程[1]提到需要将boost的库头文件写入环境变量，即在.bashrc中添加

export BOOST_INCLUDEDIR="/your_root_path/local/include:$BOOST_INCLUDEDIR"

在我的配置过程中，发现这一行并没有起到作用。根据查找的资料，作者的目的是需要将boost的库添加到环境变量中。防止在后面的编译过程中找不到库中的文件。因此，我在环境变量中添加了：

export C_INCLUDE_PATH=$C_INCLUDE_PATH:/root_path/local/include/
export CPLUS_INCLUDE_PATH=$CPLUS_INCLUDE_PATH:/root_path/local/include

通过这两行来指定后续编译过程中所使用的头文件，库文件搜索路径。
退出编辑后别忘了使用source ~/.bashrc激活环境变量

(2)Glog
git clone https://github.com/google/glog.git
cd glog
./autogen.sh
./configure --prefix=/root_path/local
 make
 make install
(3)Gflags
git clone https://github.com/gflags/gflags.git
cd gflags
mkdir build
cd build
CXXFLAGS="-fPIC" cmake -D CMAKE_INSTALL_PREFIX=/root_pat/local ..
make
make install
(4)protobuf
cd temp
wget https://github.com/google/protobuf/releases/download/v3.5.1/protobuf-cpp-3.5.1.tar.gz
tar zxvf protobuf-cpp-3.5.1.tar.gz
cd protobuf-3.5.1
./autogen.sh
./configure --prefix=/root_path/local
 make
 make install
(5)hdf5
cd temp
wget https://support.hdfgroup.org/ftp/HDF5/current/src/hdf5-1.10.1.tar
tar xvf hdf5-1.10.1.tar
cd hdf5-1.10.1
./autogen.sh
./configure --prefix=/root_path/local
make -j4  //j后面跟的数字可以根据自己电脑的性能改变4、8、16、32
make check
make install
make check-install
(6)snappy
cd temp
git clone https://github.com/google/snappy.git
cd snappy
mkdir build
cd build
cmake -D CMAKE_INSTALL_PREFIX=/root_path/local ..
make -j4
make install
(7)lapack
cd temp
wget http://www.netlib.org/lapack/lapack-3.8.0.tar.gz
tar zxvf lapack-3.8.0.tar.gz
cd lapack-3.8.0
mkdir build
cd build
cmake -D CMAKE_INSTALL_PREFIX=/root_path/local ..
make -j4
make install
(8)openblas
cd temp
git clone https://github.com/xianyi/OpenBLAS.git
cd OpenBLAS
make
make install PREFIX=/root_path/local
(9)opencv
cd temp
wget https://github.com/opencv/opencv/archive/3.2.0.zip
unzip 3.2.0
cd opencv-3.2.0
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/root_path/local ..
···
在cmake的过程中会出现需要下载ippicv_linux_20151201.tgz，
如果网络问题下载缓慢或者失败可以在我之前发的网盘地址中找到。
从网盘中下载后将文件放至opencv-3.2.0/3rdparty/ippicv/downloads/linux-*中并重新cmake
···
make 
make install

在这里如果你使用的CUDA版本为9.0或以上版本，会出现如下错误：

CMake Error: The following variables are used in this project, but they are set to NOTFOUND.
Please set them or make sure they are set and tested correctly in the CMake files:
CUDA_nppi_LIBRARY (ADVANCED)
    linked by target "opencv_cudev" in directory /home/yangxinwei/opencv-test/opencv-3.2.0/modules/cudev
    linked by target "opencv_cudev" in directory /home/yangxinwei/opencv-test/opencv-3.2.0/modules/cudev
    ......
    linked by target "opencv_version" in directory /home/yangxinwei/opencv-test/opencv-3.2.0/apps/version

此时需要对以下文件进行修改(建议将文件下载到本地进行修改)：
1）在opencv-3.2.0/cmake中找到FindCUDA.cmake
将：

find_cuda_helper_libs(nppi)

替换为：

find_cuda_helper_libs(nppial)
find_cuda_helper_libs(nppicc)
find_cuda_helper_libs(nppicom)
find_cuda_helper_libs(nppidei)
find_cuda_helper_libs(nppif)
find_cuda_helper_libs(nppig)
find_cuda_helper_libs(nppim)
find_cuda_helper_libs(nppist)
find_cuda_helper_libs(nppisu)
find_cuda_helper_libs(nppitc)

将：

set(CUDA_npp_LIBRARY "${CUDA_nppc_LIBRARY};${CUDA_nppi_LIBRARY};${CUDA_npps_LIBRARY}")

替换为：

set(CUDA_npp_LIBRARY "${CUDA_nppc_LIBRARY};${CUDA_nppial_LIBRARY};${CUDA_nppicc_LIBRARY};${CUDA_nppicom_LIBRARY};${CUDA_nppidei_LIBRARY};${CUDA_nppif_LIBRARY};${CUDA_nppig_LIBRARY};${CUDA_nppim_LIBRARY};${CUDA_nppist_LIBRARY};${CUDA_nppisu_LIBRARY};${CUDA_nppitc_LIBRARY};${CUDA_npps_LIBRARY}")

将：

unset(CUDA_nppi_LIBRARY CACHE)

替换为：

unset(CUDA_nppial_LIBRARY CACHE)
unset(CUDA_nppicc_LIBRARY CACHE)
unset(CUDA_nppicom_LIBRARY CACHE)
unset(CUDA_nppidei_LIBRARY CACHE)
unset(CUDA_nppif_LIBRARY CACHE)
unset(CUDA_nppig_LIBRARY CACHE)
unset(CUDA_nppim_LIBRARY CACHE)
unset(CUDA_nppist_LIBRARY CACHE)
unset(CUDA_nppisu_LIBRARY CACHE)
unset(CUDA_nppitc_LIBRARY CACHE)

2）在同一个文件夹中找到OpenCVDetectCUDA.cmake
将：

  set(__cuda_arch_ptx "")
  if(CUDA_GENERATION STREQUAL "Fermi")
    set(__cuda_arch_bin "2.0")
  elseif(CUDA_GENERATION STREQUAL "Kepler")
    set(__cuda_arch_bin "3.0 3.5 3.7")
  ......

替换为：

  set(__cuda_arch_ptx "")
  if(CUDA_GENERATION STREQUAL "Kepler")
    set(__cuda_arch_bin "3.0 3.5 3.7")
  elseif(CUDA_GENERATION STREQUAL "Maxwell")
    set(__cuda_arch_bin "5.0 5.2")
  ......

3）在opencv-3.2.0/modules/cudev/include/opencv2中找到common.cpp
添加：

#include <cuda_fp16.h>

在解决了前一个错误后，可能还会出现：

nvcc fatal   : Unsupported gpu architecture 'compute_20'
CMake Error at cuda_compile_generated_gpu_mat.cu.o.cmake:208 (message):

这时使用下面语句从新cmake：

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/root_path/local -D CUDA_GENERATION=Kepler ..
Tip2:

使用make 编译时可以使用 -jx来加速，在编译opencv时使用可能报错，如果是你在编译opencv时使用了此命令，且之前的安装配置都正确，可尝试使用只使用make

接上cmake之后再make和make install时报错：

LAPACKE_H_PATH-NOTFOUND/lapacke.h: No such file or directory

解决方法：将opencv-3.2.0/build/中的opencv_lapack.h中的：

#include "LAPACKE_H_PATH-NOTFOUND/lapacke.h"

修改为：

#include "/root_path/local/include/lapacke.h"

再重新编译即可成功安装。

(10)lmdb
cd temp
git clone https://gitorious.org/mdb/mdb.git
make
make prefix=/root_path/local install

至此，依赖部分已经安装完毕，但是在编译caffe中仍会出现许多问题，会在下篇文章中继续Caffe框架的编译过程，以及python接口的配置。

AliceZyxw
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
服务器非root用户编译caffe及环境配置
pythonplusvable
07-30 2168
       第一次在自己新开的服务器账号上make -j32简直不能再爽了，make直接成功，因为服务器上相关依赖已经安装了，但是接下来有些问题，简单记录一下，没准以后用的上 1.在make test的时候，出现了can't find xxx.so.x文件的问题，这个很简单，比如 报错：error while loading shared libraries: libcudart.so.8....
Linux服务器无权限安装caffe教程
jiajinrang93的博客
05-16 7620
Linux服务器无权限安装caffe教程 作者：贾金让 前言：服务器上没有root权限，不能使用sudo和apt-get无脑安装caffe需要的各种依赖，因此需要手动安装这些依赖库。核心就是将原来apt-get安装在/usr/include，/usr/lib等位置的库，手动安装在我们自己的路径下，即自定义路径安装依赖。 这些依赖由于版本，交叉依赖等问题，不小心的话会出现各种错误，比较经典的就...
Linux 服务器下非root用户安装CUDA完整流程（多次踩雷经验总结）
最新发布
K_wenry的博客
04-30 1906
深度学习免不了需要CUDA加速，但是在诸多的CUDA安装教程中使用的都是sudo命令，服务器只有一个管理员，非管理员用户无法使用sudo命令，更新和安装CUDA通常会出现如下报错不在 sudoers 文件中。此事将被报告。
Linux服务器无root权限安装caffe[坑]
weixin_40934268的博客
11-15 1861
一个疯狂修补的错误今天终于好了希望别再有什么乱七八糟的错误了 老夫累了真的累了 血泪史 1.git安装caffe 直接去github搜caffe git clone一下 2.安装依赖，手动编译依赖 我基本上把caffe的所有依赖手动编译了一遍，还算比较顺利 按照这个网址： https://blog.csdn.net/jiajinrang93/article/details/8033...
linux服务器安装caffe（无root权限）
weixin_30266829的博客
01-10 437
参考配置环境： 1. centos 6.3 2. gcc-4.8.3 3. cuda-8.0 4. cudnn_v5 步骤： 1.从任意来源下载caffe源代码； 官方版caffe下载链接：https://github.com/BVLC/caffe 2. 下载依赖包caffe-third.zip； 链接: https://pan.baidu.com/s/1eTT3q...
linux安装caffe记录（非root用户）
ccbrid的博客
01-22 3870
①caffe从github下载：执行如下命令：git clone https://github/.../caffe.git ②进入caffe/python目录，安装caffe的python依赖库，执行如下命令：$for req in $(cat requirements.txt); do pip install $req;done Successfully installed Cython-0...
服务器非root用户配置Caffe MobileNet SSD环境
3irius的博客
07-11 258
MobileNet SSD速度快计算量适中，适合在移动端进行目标检测，但其运行环境很难配置，参考https://blog.csdn.net/weixin_35754503/article/details/89314033，小辣鸡作者在踩完以上所有坑的情况下，又多踩了许多坑，意识到服务器非root配置环境的路上没有捷径，并不是所有error都可以搜到答案，积极培养自己对error的适应能力，才能开开...
caffe+cuda9.0的Makefile.config文件
10-25
这是我安装caffe的makefile.config文件，其中有修改，并且针对cuda9.0，与cuda8.0的略有不同，具体安装可以参照我的博客文章进行。https://blog.csdn.net/uniqueyyc/article/details/83338889
Ubuntu 17.04+CUDA9.0+Cudnn7+Opencv3.3.1+Caffe安装
11-08
Ubuntu 17.04下CUDA9.0+Cudnn7+Opencv3.3.1+Caffe配置与安装图文流程。
Ubuntu16.04+cuda9.0+cudnn7.05+opencv3.4.0+caffe配置
05-10
Ubuntu16.04+cuda9.0+cudnn7.05+opencv3.4.0+caffe配置过程，两台电脑均已测试通过，一台是台式机，配有GTX1080Ti，另一台是笔记本，配有GTX960M显卡，都能完美运行，有需求的可以拿去参考一下。 导致配置不成功的...
Caffe+VS2013+CUDA7.5+opencv2.4.10快速配置
11-27
在本文中，我们将详细介绍如何在Windows环境下快速配置Caffe库，使用Visual Studio 2013和CUDA 7.5，以及配合OpenCV 2.4.10进行开发。这个过程涉及到的主要步骤包括OpenCV的配置、CUDA的安装、第三方库的下载以及...
win10 x64 CUDA9.0+cuDNN7.2
01-07
标题中的“win10 x64 CUDA9.0+cuDNN7.2”指的是一个专为64位Windows 10操作系统设计的软件组合，包括CUDA Toolkit 9.0和cuDNN（CUDA深度神经网络库）7.2版本。这两个组件是针对GPU加速计算，特别是用于深度学习应用...
非root caffe linux环境配置
y_ear的博客
11-29 1646
非root caffe linux环境配置环境依赖安装protobuf安装报错环境变量安装boost安装环境变量安装gflags，glog安装安装leveldb ，lbdb，hdf5，openblas修改caffe Makefile.config 文件Caffe 安装ErrorCaffe 测试参考 环境依赖 cuda的环境服务器已经装好，另外我经常用的是anaconda中的python，所以在编译...
CentOS 没有root权限下Caffe 安装的小问题
展翅的空间
02-22 2880
CentOS 下Caffe 安装的小问题今天需要在一台CentOS服务器上安装Caffe。因为之前一直在用Ubuntu, 而且这台服务器没有root权限，因此遇到了一些小问题，最终总算解决了，记录一下。
cuda cuDNN 安装 无root权限
weixin_38612234的博客
01-12 1124
@hss cuda cuDNN 安装 无root权限 参考 https://blog.csdn.net/Cowry5/article/details/80630037 在添加环境变量时 ~/.bashrc中 export PATH=&quot;/home/haoss/ucuda/cuda-9.0/bin:$PATH&quot; export LD_LIBRARY_PATH=&quot;/home/haoss/ucuda/cu...
Window & ubuntu(非root用户)编译caffe并运行py-faster-rcnn
小白的博客
12-05 882
ubuntu非root用户编译caffe并运行py-faster-rcnn cudnn与cuda安装 安装自己的python环境 conda 更新源并安装opencv 编译caffe 编译运行py-faster-rcnn 在Windows上编译caffe并运行py-faster-rcnn 错误汇总 No module named cython_bbox TypeError numpyfloat64
linux 服务器安装多版本 cuda （无 sudo 权限 非 root 用户也适用）
zhaozebin666的博客
03-28 2982
> linux 服务器安装多版本 cuda （无 sudo 权限 非 root 用户也适用）
Linux无root无sudo权限在用户目录安装cuda9.2和cudnn7.1
热门推荐
公众号/知乎: AI算法札记，欢迎关注交流
07-27 1万+
1.个人环境 系统：ubuntu 16.04(可在linux命令行通过命令 ~$ cat /proc/version查看) 权限：无root无sudo权限 cuda版本：cuda 9.2 对应的cudnn版本：cudnn7.1 2.下载并安装cuda cuda下载地址：https://developer.nvidia.com/cuda-downloads? 仿照下图进行选择......
ubuntu20 安装 caffe-cuda
08-19
首先，在 Ubuntu 20 上安装 Caffe-CUDA 需要满足一些先决条件。请确保你已经安装了 CUDA 和 cuDNN，并且已经正确配置了它们。然后，按照以下步骤进行安装： 1. 安装依赖项： ```shell sudo apt-get update sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler libgflags-dev libgoogle-glog-dev liblmdb-dev ``` 2. 克隆 Caffe 仓库： ```shell git clone https://github.com/BVLC/caffe.git ``` 3. 进入 Caffe 目录： ```shell cd caffe ``` 4. 编辑 Makefile.config 文件： ```shell cp Makefile.config.example Makefile.config nano Makefile.config ``` 确保按照你的配置修改以下行： - `USE_CUDNN := 1` （如果已安装 cuDNN） - `CUDA_DIR := /usr/local/cuda` （CUDA 的安装路径） - `INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial` （根据你的系统配置修改） - `LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu/hdf5/serial` （根据你的系统配置修改） 5. 编译 Caffe： ```shell make all -j$(nproc) # 使用所有可用的 CPU 内核 make test -j$(nproc) make runtest -j$(nproc) ``` 6. 安装 Caffe： ```shell sudo make install ``` 7. 配置环境变量： ```shell echo 'export PYTHONPATH=/path/to/caffe/python:$PYTHONPATH' >> ~/.bashrc source ~/.bashrc ``` 现在，你应该已经成功在 Ubuntu 20 上安装了 Caffe-CUDA。你可以尝试运行一些示例代码来验证安装是否成功。记得替换 `/path/to/caffe` 为你的 Caffe 目录路径。希望对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值