滴滴云 Ubuntu16.04-cuda9-cudnn7-Opencv3.4-caffe-notebook环境配置(tensorflow)共存

滴滴云配置caffe环境

滴滴云的GPU云可以用了，冲着3元一小时的价格，我去试了一把。

1、好吧，先注册滴滴云，这个简单略过。

2、要购买GPU实例，先要实名认证，要上传身份证的正反面，JPG格式，好吧，我上传，在下班时间里居然秒通过，话说这不是人为审核吧，我估计乱传一张身份证也会通过。

3、开始购买了啦，发现可用地区有且只有广州一区和广州二区，难道滴滴服务器只在广州吗，难道是根据我的地区自动选择的（深圳，不知其它的人是不是更多选择），没有譬如香港之类的地区，这就造成我们的服务器天然上不了类似google的网站，不巧的是tensorflow正好是google的。

 

 

GPU服务也是有且只有一个p4

镜像有两个右上角有GPU的，我们选个Ubuntu吧

付费我是按时发费

选择最低配置

选择带宽1M的话是0.03元每小时（按小时收费哦），开始配置服务器时应该要分配大一点，因为肯定要下载一些环境之类的。

最后再设一下密码（用户名固定为dc2-user）：(这里可以设置ssh key连接方式)

好吧，最后用微信付款3.03元（1M带宽），申请到如下配置的GPU服务器一个小时的使用时间

可以看出来，收费主要有三项，一个是镜像占有空间收费（20G内免费，我们现在还没有创建镜像），实例收费，带宽收费。

 

注意点：

当你创建完实例以后，系统就开始收钱喽，如果你不想让它收钱要怎么办，你可能会认为把实例关机就不收钱了，答案是错的，你得把这个实例删除，删除哦，当你把实例删了以后，发现宽带还在收钱哦，你还要把宽带也删了哦，也就是说当你不想付钱时，你要手动分别删除两个项目实例和带宽哦。你又会说了，我好容易配好的环境训练一次，删了以后，后面再用又要再配环境，那不是晕了，所以你在删除之间先做个镜像，然后删除实例和网络。后面再用的时候，再创建实例的时候选择这个自己的镜像，就可以还原到上次的系统了。

 

好吧，我们终于建好了实例，有了ssh的帐号和密码，我们在windows上要装个ssh的客户端来登陆吧，常用的应该是winscp+putty吧,要上传下载文件就用winscp,要命令行就用putty,在winscp里可以打开putty,但要先装好putty,并且做一下配置关联起来。(另一种方式使使用ssh设置登录秘钥，linux环境下可直接连接)

 

putty登陆上去以后，可以发现它已经装好的显卡驱动+cuda(9.0)+cudnn(7.0),但是其它像caffe之类都是没有的。

 

 

[html] view plain copy

1. sudo passwd root  

可实现更改root 密码，貌似不改也行，默认可安装东西

 

如果只是一台训练机，我个人感觉不用担心安全问题，因为训练完我马上关掉，而且在防火墙上默认只开了443，80，22等端口，可以按自己的需求关掉除22外的其它外网端口。

 

开始安装caffe：

提示：中途用sudo pip就一直用sudo pip，如果只是pip就一直只是pip，两个是不一样的，不要间隔使用

 

第1步 安装依赖包

安装后续步骤或环境必需的依赖包，依次输入以下命令:

sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler

sudo apt-get install --no-install-recommends libboost-all-dev

sudo apt-get install libopenblas-dev liblapack-dev libatlas-base-dev

sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev

sudo apt-get install git cmake build-essential

•  

第2步 安装 opencv3.4.0

进入官网 : http://opencv.org/releases.html ，选择 3.4.0 版本的 sources , 下载 opencv-3.4.0.zip 。随后解压到你要安装的位置，命令行进入已解压的文件夹 opencv-3.4.0 目录下，执行：

[plain] view plain copy

1. mkdir build # 创建编译的文件目录  
2.   
3. cd build  
4.   
5. cmake -D CMAKE_BUILD_TYPE=Release -D CMAKE_INSTALL_PREFIX=/usr/local ..  
6.   
7. make -j8  #编译  

在98%的时候会等很久很久，属于正常现象。编译过程很顺利，编译成功后安装：

[html] view plain copy

1. sudo make install #安装  

安装完成后通过查看 opencv 版本验证是否安装成功：

[html] view plain copy

1. pkg-config --modversion opencv  

为了能让caffe找到opencv 的.so文件：

 

• 1 打开路径：

  /etc/ld.so.conf.d

• 2 创建文件：

  OpenCV.conf

•     注意：OpenCV.conf中的路径一定要是自己opencv的install路径，具体参看步骤3）

• 3 在OpenCV.conf中写入：

  /usr/local/local/lib

  注：该路径为opencv install之后的路径，一般默认的路径为/usr/local/lib，即lib*.so库文件所在的路径。

• 4 在终端执行命令：

  sudo ldconfig

卸载OpenCV的方法：进入OpenCV解压文件夹中的buid 文件夹：

 

[plain] view plain copy

1. cd /home/ccem/opencv-3.4.0/build  

运行：

 

[plain] view plain copy

1. sudo make uninstall  

然后把整个opencv-3.4.0文件夹都删掉。随后再运行：

 

[plain] view plain copy

1. sudo rm -r /usr/local/include/opencv2 /usr/local/include/opencv /usr/include/opencv /usr/include/opencv2 /usr/local/share/opencv /usr/local/share/OpenCV /usr/share/opencv /usr/share/OpenCV /usr/local/bin/opencv* /usr/local/lib/libopencv  

第3步 安装 caffe

首先在你要安装的路径下 clone ：

git clone https://github.com/BVLC/caffe.git

进入 caffe ，将 Makefile.config.example 文件复制一份并更名为 Makefile.config ，也可以在 caffe 目录下直接调用以下命令完成复制操作 ：

sudo cp Makefile.config.example Makefile.config

复制一份的原因是编译 caffe 时需要的是 Makefile.config 文件，而Makefile.config.example 只是caffe 给出的配置文件例子，不能用来编译 caffe。

然后修改 Makefile.config 文件，在 caffe 目录下打开该文件：

sudo gedit Makefile.config

修改 Makefile.config 文件内容：

1.应用 cudnn

将
#USE_CUDNN := 1
修改成： 
USE_CUDNN := 1

• 2.应用 opencv 版本

将
#OPENCV_VERSION := 3 
修改为： 
OPENCV_VERSION := 3

3.使用 python 接口

将
#WITH_PYTHON_LAYER := 1 
修改为 
WITH_PYTHON_LAYER := 1

•  

4.修改 python 路径

INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib 
修改为： 
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial
LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial       

•  

5.根据你的cuda版本号修改cuda的配置

CUDA_ARCH :=    -gencode arch=compute_30,code=sm_30 \

                -gencode arch=compute_35,code=sm_35 \

                -gencode arch=compute_50,code=sm_50 \

                -gencode arch=compute_52,code=sm_52 \

                -gencode arch=compute_60,code=sm_60 \

                -gencode arch=compute_61,code=sm_61 \

                -gencode arch=compute_61,code=compute_61

 

如果为cuda9,则根据提示，删除到前两行，其他同理

然后修改 caffe 目录下的 Makefile 文件：

将：
NVCCFLAGS +=-ccbin=$(CXX) -Xcompiler-fPIC $(COMMON_FLAGS)
替换为：
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)

•  

将：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_hl hdf5
改为：
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial

•  

然后修改 /usr/local/cuda/include/host_config.h 文件 :

将
#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!
改为
//#error-- unsupported GNU version! gcc versions later than 4.9 are not supported!

•  

OK ，可以开始编译了，在 caffe 目录下执行 ：

make all -j8

•  

这是如果之前的配置或安装出错，那么编译就会出现各种各样的问题，所以前面的步骤一定要细心。

编译成功后可运行测试：

sudo make runtest -j8

可能出现的问题：./XXXXXXX: error while loading shared libraries: libcudart.so.9.0: cannot open shared object file: No such file or directory

解决方法：

sudo cp /usr/local/cuda-9.0/lib64/libcudart.so.9.0 /usr/lib/libcudart.so.9.0
sudo ldconfig 

其他类似情况同样处理

如果显示结果为上图所示，则表示 caffe 已经成功安装。

5、安装 pycaffe notebook 接口环境

在上一步成功安装 caffe 之后，就可以通过 caffe 去做训练数据集或者预测各种相关的事了，只不过需要在命令行下通过 caffe 命令进行操作，而这一步 pycaffe 的安装以及 notebook 环境配置只是为了更方便的去使用 caffe ，实际上大多数都是通过 python 来操作 caffe 的，而 notebook 使用浏览器作为界面，可以更方便的编写和执行 python 代码。

首先编译 pycaffe :

cd caffe

sudo make pycaffe -j8

•  

以下是我编译 pycaffe 时出现的错误：

python/caffe/_caffe.cpp:10:31: fatal error: numpy/arrayobject.h: 没有那个文件或目录

•  

解决方法：

sudo apt-get install python-numpy

• 1

此外也可能是由于 Makefile.config 文件中 python 路径设置错误出现的错误，可根据上一步检查一下，也可能出现别的错误，百度谷歌之～

编译 pycaffe 成功后，验证一下是否可以在 python 中导入 caffe 包，首先进入 python 环境：

python

•  

然后导入 caffe :

>>> import caffe

•  

若不报错则表示 caffe 的 python 接口已正确编译，但是应该不会那么顺利，以下是我导入 caffe 时出现的错误：

错误1：

File "<stdin>", line 1, in <module>   ImportError: No module named caffe

• 1

解决方法：

sudo echo export PYTHONPATH="~/caffe/python" >> ~/.bashrc

source ~/.bashrc

•  

错误2：

ImportError: No module named skimage.io

•  

解决方法：

pip install -U scikit-image  -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com//使用源加速，没有安装pip: sudo apt install python-pip

• 1
•  

然后再按个：

pip install protobuf -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

成功安装！！！！！！！！！

6、安装 pycaffe notebook 接口环境

 

首先要安装python接口依赖库，在caffe根目录的python文件夹下，有一个requirements.txt的清单文件，上面列出了需要的依赖库，按照这个清单安装就可以了。

在安装scipy库的时候，需要fortran编译器（gfortran)，如果没有这个编译器就会报错，因此，我们可以先安装一下。

首先进入 caffe/python 目录下，执行安装代码：

sudo apt-get install gfortran

for req in $(cat requirements.txt); do sudo pip install $req; done

•  

这时候可能会出现大量红字，

直接先卸载dateutil：

sudo pip uninstall python-dateutil

然后重新安装

sudo pip install python-dateutil

这时候计入python已经可以使用matplotlib等库了

安装完成以后执行：

sudo pip install -r requirements.txt

•  

就会看到，安装成功的，都会显示Requirement already satisfied, 没有安装成功的，会继续安装。

然后安装 jupyter ：

sudo pip install jupyter

•  

安装完成后运行 notebook :

jupyter notebook

或

ipython notebook

•  

就会在浏览器中打开notebook, 点击右上角的New-python2, 就可以新建一个网页一样的文件，扩展名为ipynb。在这个网页上，我们就可以像在命令行下面一样运行python代码了。输入代码后，按shift+enter运行，更多的快捷键，可点击上方的help-Keyboard shortcuts查看，或者先按esc退出编辑状态，再按h键查看。

如果你连接的使服务器没哟web界面，那么你可以看我另一篇博客设置远程连接

Jupyter notebook远程访问服务器

配置tensorflow环境：

滴滴云GPU服务器配置环境做深度学习之tensorflow

以上部分内容转自：

https://blog.csdn.net/yhaolpz/article/details/71375762