【环境配置】使用xshell和xftp或MacOS搭建基于Ubuntu18.04_64x86_64非图形界面的Anaconda3+Cuda11.3.1+Cudnn8.2.1+Pytorch1.10环境

首先介绍一下在MacOS上进行此实验与在win10+xshell+xftp的区别：

        MacOS启用ssh来完成与服务器的通信工作，win10使用的则是xshell，在传输文件上mac使用的是scp命令，win10使用的则是xftp。下面先来简单介绍一下使用macOS指令替换掉xshell和xftp的区别，其余实验步骤两者均保持一致（因为输入的指令均在服务器上执行，与本机的环境无关）。

MAC：

        首先使用ssh连接远程主机，该命令的实现方式如下，在输入此命令后输入用户名所对应的密码即可完成与服务器的连接。

ssh 用户名@服务器ip地址 -p 端口号

        

 使用scp远程复制的命令如下

scp -P 端口号 本地文件路径 用户名@服务器ip地址+文件在服务器中预备存放的路径#带端口的将文件上传到远程服务器
scp -P 端口号 用户名@服务器ip地址+文件在服务器中存放的路径 本地路径#带端口的将文件从服务器拷贝至本地
scp 目的文件 用户名@服务器ip地址+文件在服务器中预备存放的路径 #不带端口的上传文件默认端口为22

由于Linux严格区分大小写，写命令时要特别注字母的大小写

'''
传单个文件  此处注意P为大写
scp -P 端口号 本地文件路径 用户名@服务器ip地址:/home/xxxx/xxxx/
'''


'''
传多个文件 此处注意P为大写，r为小写 r的意思为递归（recursion）
scp -P 端口号  -r 本地文件路径 用户名@服务器ip地址:/home/xxxx/xxxx/
'''

WIN：

1.在服务器上新建一个个人用户，并为其设置sudo权限。

概念：

    sudo权限就是root把本来只能超级用户执行的命令赋予普通用户执行，sudo的操作对象是系统命令。

实现步骤：

首先打开服务器终端，在终端中依次输入以下三个命令。

su root  #切换到超级管理员，输入后会要求输入超级管理员密码。
adduser #自定义的用户名
vi /etc/sudoers

接着修改 /etc/sudoers文件的内容，在可以执行特权指令的用户中将自定义的用户添加进去，并为其开启可以执行全部特权指令的权限。然后输入 ” ：“+” wq！“保存对该文件的修改。 

在 下添加 一行即可。

 当上述流程执行完毕后，用户便可以通过sudo + 指令 使用某些超级用户才可以使用的指令了。

2.利用xshell以及xftp安装Anaconda3

首先我们去Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 链接处下载将Anaconda3-2021.04-Linux-x86_64.sh（下图中标蓝处）下载至本地，然后利用xShell和xftp将其发送至服务器端，其中XShell - Download，XFTP - NetSarang Website分别为xshell和xftp的下载地址，虽然是付费的但是凭学生身份可以免费注册。下面通过xftp举例说明如何注册、下载以及使用xshell以及xftp。

 xftp下载教程如下

单击”免费授权页面“进入下图

 如实填写个人信息即可，之后下载地址会发送至你的邮箱。

 当xshell下载好之后，我们通过它来建立与服务器的连接并控制服务器。首先演示他的连接过程，

 （1）单击界面左上角”文件“——”新建“，即可建立一个新的连接。

     

（2）在”名称“一栏中为此次连接自定义一个名字，在 ”主机“处输入服务器的ip地址，在”端口“一栏中，如果你的服务器上只有你一台主机的话可选择默认的22，如果你的服务器NAT防火墙的话。你需要找到他的ip和端口对应表，根据给你分配的内网ip选择对应你的ip地址的端口号。

（3）单击左侧”用户身份验证“，分别在”用户名“和”密码“栏中输入你在服务器上的用户名和密码。然后单击右下角的”连接“即可与服务器建立连接。

 

 （4）利用xftp传送文件。

 在此图中选中打开xftp。如下图，即说明目前我们已经可以通过xshell和xftp来完成对服务器的控制以及与服务器的文件传输了。

 （2）Anaconda3的安装。当我们本地已经下载好Anaconda3-2021.04-Linux-x86_64.sh文件后，我们将此文件通过xtp传送到服务器上，并利用xshell进入到服务器中存放该文件的位置后执行以下命令进入Anaconda的安装，该过程安装十分简单，注意根据提示和个人喜好选择就可以。

bash Anaconda3-5.2.0-Linux-x86_64.sh

 当安装完毕后，我们通过以下三个命令将Anaconda添加至自己的环境变量。

sudo gedit ~/.bashrc
export PATH="/home/个人用户名/anaconda3/bin:$PATH"#在文件的最后输入该语句
source ~/.bashrc

 此处需注意，对于没有图形界面的服务器来说 gedit命令是无法执行的。需要将gedit换成vim。

当执行完最后一个命令之后，我们就可以发现我们已经有了conda的环境，此时可以通过conda来执行一些命令，接下来演示利用conda来新建一个名为”test“的虚拟环境。

conda create -n test python=3.6#此处的"test"和"3.6"均为用户可以自己选择的部分
conda activate test #激活虚拟环境
conda deactivate #退出当前虚拟环境

3.nvidia驱动的更新。

（1）首先查看自己服务器显卡的信息

lshw -numeric -C display

                                

从图中可以看到我的显卡型号为：Quadro M4000

然后我们去nvidia官网去查看我们可以使用的驱动，链接如下Download Drivers | NVIDIA。

在上图所示的选项中选择自己显卡的信息后点击”SEARCH“进入下方页面。

点击”DOWNLOAD“ 即可下载驱动，我下载的驱动名为“NVIDIA-Linux-x86_64-470.86.run”，然后利用xftp将其传送至服务器。

在开始安装之前首先删除原有驱动

sudo apt-get remove --purge nvidia*

然后禁用nouveau：

首先创建一个文件

$ sudo vim /etc/modprobe.d/blacklist-nouveau.conf

然后在文件中输入以下内容

blacklist nouveau
options nouveau modeset=0

使用以下命令使其生效并重启

$ sudo update-initramfs -u
$ sudo reboot

然后输入下面命令后，若无任何输出则代表禁用成功。

$ lsmod | grep nouveau

并在相应的目录下输入以下命令后即可安装新的驱动。

sudo chmod a+x NVIDIA-Linux-x86_64-XXXXXXXXXXX.run
sudo ./NVIDIA-Linux-x86_64-XXXXXXXXXX.run --no-opengl-files --no-x-check --no-nouveau-check

• –no-opengl-files 只安装驱动文件，不安装OpenGL文件。这个参数最重要
• –no-x-check 安装驱动时不检查X服务
• –no-nouveau-check 安装驱动时不检查nouveau

然后输入 nvidia-smi可验证是否安装成功。

 4.安装cuda：

        在安装cuda之前要先确定自己的开发环境所对应的cuda版本，例如pytorch，在其官网可以看到最新版本的pytorch仅支持cuda11.3，以及cuda对应的gcc和g++的版本这一点尤为重要。

首先说明一下gcc和g++的区别：

gcc和g++的区别主要是在对cpp文件的编译和链接过程中，因为cpp和c文件中库文件的命名方式不同，那为什么g++既可以编译C又可以编译C呢，这时因为g在内部做了处理，默认编译C++程序，但如果遇到C程序，它会直接调用gcc去编译。

在安装cuda之前首先要在官网上找到该版本的cuda对应的gcc和g++的版本并对其进行更新或降级。（建议百度搜索 CUDA 11.X DOWNLOADS去找对应版本的cuda的官方说明文档）

进到下面这个页面之后

将页面拉到最底找到“Installation Guide for Linux”并单击即可进入下面的页面。在表中就可以查到对应的需要的环境支持的版本

 可以通过下述命令来查看自己的gcc版本

 gcc --version

 之后我们进入nvidia的网站去寻找我们合适的cuda，在选到之后进入如下页面选择适合自己系统的部分，推荐使用runfile（因为别的我没试过）。

 之后在服务器上执行下述命令

sudo sh cuda_***_linux.run (你下载的runfile安装包名字）
vim ~/.bashrc

在打开的文件中输入

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-XX.X/lib64
export PATH=$PATH:/usr/local/cuda-XX.X/bin
export CUDA_HOME=$CUDA_HOME:/usr/local/cuda-XX.X

之后执行下述命令保存配置。

source ~/.bashrc

之后执行下述命令后即可看见自己安装cuda的设备信息。

cd /usr/local/cuda/samples/1-Utilities?deviceQuery
sudo make
./deviceQuery

 5.安装cudnn。cuDNN Archive | NVIDIA Developer

   下载地址已给出，cudnn需要先注册才能下载，注册流程也十分常规，便不再演示了。注意：在下载cudnn的时候切记要与cuda的版本对应。

首先选择好合适的版本

然后下载以下三个文件（根据自己的系统进行选择）并传入服务器

之后打开终端输入

sudo dpkg -i libcudnnX_X-1+cuda10.0_amd64.deb
                                                                                                  
 
sudo dpkg -i libcudnnX-dev_X+cuda10.0_amd64.deb
                                                                                                   
 
sudo dpkg -i libcudnnX-doc_X+cuda10.0_amd64.deb

 cp -r /usr/src/cudnn_samples_v8/ $HOME

然后输入下述语句验证cudnn。

dpkg -l | grep cudnn

出现下图所示结果代表安装成功

6.安装pytorch

Start Locally | PyTorch

Pytorch的安装比较简单，通过上述连接进入pytorch官网，选择对应的OS、安装方式以及CUDA版本等信息后在终端输入官网给出的命令即可。 

最后的结果如下：