服务器使用及环境配置

服务器使用：

Linux 一些操作

文件夹操作：

cd：进入
cd ..：后退
pwd：查看当前所在目录
ls：查看文件夹内的文件
mkdir + 文件夹名：创建文件夹

文件操作：

1. touch + 文件名：创建文件
2. vim + 文件名：编辑文件（i：插入；esc:q查看后退出；：wq保存后退出；esc:q!不保存退出）

复制文件夹/文件

复制文件：cp 原地址 目的地址
复制文件夹，如果文件夹中还有文件夹：cp -r 原地址 目的地址

查看GPU运行状态、杀死端口号的操作：

1. 静态查看GPU：nvidia-smi
2. 动态查看GPU：watch -n 0.5 nvidia-smi
3. 可以查看用户GPU使用情况：pip安装gpustat；

gpustat
gpustat -cpu

4. 查看当前使用者：top(按Ctrl+C退出查看。)
5. ps -ef：查看所有进程，kill杀掉端口
6. 查看某个进程 具体执行命令： ps aux | grep xxxx端口
7. df -h：查看盘和内存
8. ctrl+D或者logout：退出服务器
   git clone http… 在git上克隆代码

运行操作之nohup命令

后台运行程序，并将日志保存：nohup命令（https://www.cnblogs.com/zzyoucan/p/7764590.html）
（正常）：nohup python train.py &

（输出保存到log文件，方法一）：nohup python train.py > log.log &

（输出到log文件，方法二）：nohup python train.py > log.log 2>&1 &

（显示缓存：-u）：nohup python -u train.py &

终端查看nohup.out文件：tail -f nohup.out

运行操作之中断命令

• ctrl+c和ctrl+z都是中断命令

1. ctrl+c是强制中断程序的执行,进程已经终止。

2. ctrl+z的是将任务中止（暂停的意思）,但是此任务并没有结束,他仍然在进程中他只是维持挂起的状态,可以使用fg/bg操作继续前台或后台的任务（fg命令重新启动前台被中断的任务,bg命令把被中断的任务放在后台执行）

CUDA10.1+cuDNN

Win10+MX250+CUDA10.1+cuDNN+Pytorch1.4安装+测试全过程(吐血)：https://blog.csdn.net/weixin_40313940/article/details/104152125

Conda+Pytorch环境配置

conda环境创建：

1. conda 查看已有环境:
 conda info -e或者conda info --envs
2. 创建一个conda 环境：conda create -n my_conda python=3.6
3. 激活对应的环境：
conda activate my_conda
4. 关闭环境：
conda deactivate my_conda
5.删除环境：
conda remove -n my_conda --all
5. 查看当前环境有哪些包
conda list
pip list
6. 复制对应的环境
conda create --name your_torch --clone myconda 
7. conda安装一个包
conda install xxxx
8. 展示目前已有的镜像channel
conda config --show channels
9.移除某一镜像源channels
conda config --remove channels  https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
10.设置搜索时显示通道地址
conda config --set show_channel_urls yes

Pytorch环境创建：

1 添加清华源（清华镜像源最近不好用）
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
或
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge 
conda config --add channels http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

阿里和豆瓣的镜像源，不建议conda添加进去，可以采用conda install xxx -c  https://mirrors.aliyun.com/pypi/simple/
# 添加阿里镜像源
conda config --add channels https://mirrors.aliyun.com/pypi/simple/
# 添加豆瓣python的源
conda config --add channels http://pypi.douban.com/simple/ 
——————————使用阿里源安装： pip install torch torchvision -i http://mirrors.aliyun.com/pypi/simple/  --trusted-host mirrors.aliyun.com
——————————使用阿里源安装：pip install -i https://mirrors.aliyun.com/pypi/simple/ tensorflow


2 添加中科大源
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.ustc.edu.cn/anaconda/cloud/menpo/
 
conda config --set show_channel_urls yes

1. 配置国内源，方便安装Numpy,Matplotlib等

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/

2. 配置pytorch国内源，安装PyTorch用

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

显示源地址

conda config --set show_channel_urls yes

3. 查看cuda和cudnn版本

cat /usr/local/cuda/version.txt
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

4. 安装pytorch
   安装PyTorch，要使用国内源请去掉-c pytorch这个参数！！
   （Pytorch安装GPU版本：https://www.cnblogs.com/luckyplj/p/13179220.html）
   （Pytorch官网：https://pytorch.org/get-started/previous-versions/）
   若终端输入：python，依次输入import torch
print(torch.cuda.is_available())返回：True，则说明pytorch的cuda安装成功。

---

1.6有点旧了，建议装1.7

法一：
conda install pytorch torchvision cudatoolkit=10.0

法二：
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch

还是无法安装，则：

conda config --set channel_priority flexible

或者

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

之后在

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 -c pytorch（删除-c pytorch）

5. 安装常用库

pip install numpy matplotlib pillow pandas

6. 克隆conda环境

假设已有环境名为A，需要生成的环境名为B：
conda create -n B --clone A

mac远程连接服务使用命令

连接命令SSH：

1. 不设置端口号，默认是22

ssh root@192.168.1.1

2. 设置端口号：

ssh  -p 22 root@192.168.1.1

根据弹出提示，输入服务器密码.

文件传输命令SCP：

1. 上传文件/目录：
   公式：scp -p 指定端口 本地文件/目录 root@服务器地址:/服务器目录

本地上传文件到服务器指定端口下的指定目录：

scp -P 22 /Users/liyixin/Downloads/1.ipynb root@hz.matpool.com:/root/data/lyx/

本地上传文件到服务器指定目录：

scp /Users/lyx/Desktop/test.txt root@192.168.1.1:/usr/local/Desktop/

本地上传目录到服务器指定目录：

scp -P 22 -r /Users/liyixin/Downloads/tnews_public root@hz.matpool.com:/root/data/lyx/

2. 下载文件/目录
   公式：scp -p 指定端口 root@服务器地址:/服务器目录 本地文件/目录

服务器指定端口下载文件：

scp -P 22 root@hz.matpool.com:/root/data/lyx/Untitled.ipynb /Users/liyixin/Downloads/

服务器下载文件：

scp root@192.168.18.172:/usr/local/Desktop/text.txt  /Users/boris/

服务器下载目录：

scp -r root@192.168.18.172:/usr/local/Desktop/ /Users/Desktop/

离线跑代码

1.新建一个窗口

screen -S train

2.detach窗口

ctrl + A + D

3.重新进入sceen窗口

screen -r train

4.查看有哪些窗口

(myconda) root@13e37b652abb:~# screen -ls
There is a screen on:
    30162.train     (03/19/21 08:25:56)     (Detached)  

5.如果有两个重名窗口

screen -r id号

6.nohup 离线跑

nohup command > myout.file 2>&1 &