Linux搭建tensorflow benchmark环境

1、环境

类别	详情
操作系统	CentOS 7.2 1151
GPU	1个Nvidia Tesla P40

2、python版本、tensorflow-gpu、CUDA及cudnn之间的对应关系

    如下图所示，图中列出了针对GPU驱动版本来说，python版本、CUDA和cudnn之间的对应关系，这只是一个粗略的对应关系，在实际安装的过程中，需要尝试具体的版本对应关系。

    我们选择使用的是tensorflow-gpu-1.9.0版本，所以需要下载对应的CUDA版本是9，cuDNN版本是7。下面我们将下载所需要显卡驱动，及CUDA和cuDNN软件。

3、软件安装包下载

3.1 驱动下载

    从NVIDIA官网找到对应系统支持的驱动版本，下载安装即可。
    NVIDIA driver下载地址：https://www.nvidia.cn/Download/index.aspx
    因为centos和RHEL7都是RedHat的操作系统，只是centos是免费的，但是软件包时通用的，所以我们选择【Linux 64-bit RHEL7】，下载的驱动信息如下

    然后点击【SEARCH】，之后下载即可。

3.2 CUDA和cuDNN软件下载

（1）CUDA下载

    我们选择的tensorflow-gpu的版本是1.9.0，这两个版本对应的都是CUDA-9和cudnn-7，所以选择下载CUDA-9.0。
    CUDA-9.0下载地址：https://developer.nvidia.com/cuda-90-download-archive
    找到Linux对应的版本，我们按照下图中红框的选择，一步一步进行选择即可，然后即可下载对应的rpm安装包【cuda-repo-rhel7-9-0-local-9.0.176-1.x86_64.rpm】。

（2）cudnn-7版本下载

    登陆cudnn下载网址：https://developer.nvidia.com/rdp/cudnn-archive
    选择CUDA-9.0对应的cuDNN v7.1.4，选择linux对应的版本，这里已经找好了对应的下载链接，如下：
    cuDNN v7.1.4： https://developer.nvidia.com/compute/machine-learning/cudnn/secure/v7.1.4/prod/9.2_20180516/cudnn-9.2-linux-x64-v7.1
    cuDNN v7.1.3版本的下载链接如下：
    cuDNN v7.1.3：https://developer.nvidia.com/compute/machine-learning/cudnn/secure/v7.1.3/prod/9.0_20180414/cudnn-9.0-linux-x64-v7.1

3.3 python版本下载

    安装Python3版本，Linux系统运行下面的命令即可安装

        yum install -y python3.x86_64

    还需要安装Python3的一编程依赖包，例如python3-dev python3-header，使用下面的命令安装。

        yum install -y python3-devel.x86_64

4、环境搭建

4.1 安装P40显卡驱动

4.1.1 禁用系统自带的显卡驱动【nouveau】

    操作步骤如下：
      1、在系统中查看是否存在【/etc/modprobe.d/blacklist.conf】，如果不存在，则创建。
      2、在该文件中写入“blacklist nouveau”
      3、备份原来的initramfs image file。执行下面的命令
sudo mv /boot/initramfs-$(uname-r).img/boot/initramfs-$(uname -r).img.bak
      4、重新建立 the initramfs file。执行下面的命令
sudo dracut -v /boot/initramfs-$(uname -r).img
      5、reboot系统
    至此系统自带显卡驱动禁用完成，等系统启动后，可以执行【lsmod |grep nouveau】来验证。

4.1.2 安装P40显卡驱动

    我们安装的P40显卡驱动是【NVIDIA-Linux-x86_64-430.46-grid.run】。执行命令【sh NVIDIA-Linux-x86_64-430.46-grid.run】即可启动安装程序。但是会出现如下错误。

    这是因为系统中没有安装kernel对应的devel开发包和header头文件。这里的解决方法有两个：
    （1）使用【uname -r】命令查看内核版本，然后从网上下载对应的kernel devel和kernel header包安装上即可。
    （2）执行命令【yum install -y kernel.x86_64 kernel-headers.x86_64 kernel-devel.x86_64】命令安装系统支持的最新kernel版本，及kernel devel和kernel header包来解决此问题。
    我们选择的解决方法是（2），安装完后需要重启生效。
系统重启后，我们再来运行命令【sh NVIDIA-Linux-x86_64-430.46-grid.run】，进入下面的界面。

    点击【回车】，进入下面界面

    选择【Yes】，进入下面界面

    至此，完成P40的显卡驱动安装，可以执行命令【lsmod | grep nvidia】来验证下，如下图

4.1.3 CUDA-9.0安装

    按照下面的步骤来安装CUDA-9.0
    （1）执行命令【rpm -ivh cuda-repo-rhel7-9-0-local-9.0.176-1.x86_64.rpm】来安装cuda repo文件。
    （2）执行【yum install -y cuda】来在线安装。
    命令执行成功后，即完成安装。

4.1.4 cuDNN-7安装

    解压cuDNN文件【cudnn-9.2-linux-x64-v7.1.tar】，会解压出一个cuda的文件夹，之后执行
cp -rf cuda/lib64/* /usr/local/cuda-9.0/lib64/ cp -rf cuda/include/* /usr/local/cuda-9.0/include/
    把cuDNN的文件拷贝到cuda-9.0的相应文件夹中即可。

4.1.5 tensorflow-gpu-1.9.0安装

    执行下面的命令即可安装

pip3 install tensorflow-gpu==1.9 -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn

5、benchmark相关测试

5.1 下载benchmark程序

    登陆https://github.com/tensorflow/benchmarks网址来下载ZIP程序压缩包，也可以使用git clone -b cnn_tf_v1.9_compatible https://github.com/tensorflow/benchmarks.git 下载cnn_tf_v1.9_compatible分支代码。如果没有git，则执行下面命令进行安装。

yum install -y git

5.2 运行tf_cnn_benchmarks.py程序

    进入benchmark程序目录【benchmarks/scripts/tf_cnn_benchmarks】中执行程序

python3 tf_cnn_benchmarks.py

    如果出现下面的错误：

ImportError: /usr/local/cuda-9.0/targets/x86_64-linux/lib/libcudnn.so.7: file too short

    则进入目录【/usr/local/cuda-9.0/lib64】，发现有两个文件libcudnn.so.7和libcudnn.so.7.1.4，而libcudnn.so.7.1.4文件是从cuDNN软件拷贝到cuda-9目录中，所以libcudnn.so.7是libcudnn.so.7.1.4的软连接，可以在【/usr/local/cuda-9.0/lib64】目录执行下面的命令建立软件列

ln -sf libcudnn.so.7.1.4 libcudnn.so.7

    此时再执行命令【python3 tf_cnn_benchmarks.py】即可成功运行。程序执行效果如下图。