实验室服务器常用指令(Anaconda、Linux、Ubuntu)——HPU视觉与创新方法研究室

常用指令查询

1. 在Ubuntu上安装Anaconda

请参考“气泡水、”博主的这篇文章《Ubuntu 20.04安装Anaconda3及简单使用》

2. 创建虚拟环境

例如创建一个指定python3.10.9版本的虚拟环境：

conda create -n 环境名 python=3.10.9 -y

3. 删除虚拟环境

第一步：首先退出环境

conda deactivate

第二步：查看虚拟环境列表，此时出现列表的同时还会显示其所在路径

conda env list

第三步：删除虚拟环境

conda env remove -p 要删除的虚拟环境路径
conda env remove -p /home/root/anaconda3/envs/test   #例子

仅删除一个包

conda remove --force 【包名】

4. 修改conda下载源

查看conda下载源

conda config --show channels

以添加conda的清华源为例

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

删除指定下载源

conda config --remove channels <parameters>

恢复源(恢复官方下载地址，清除所有自行添加的第三方源)

conda config --remove-key channels

5. pip临时指定下载源（conda下载过慢、清华源不可用时，Ubuntu源下载过慢时）

例如下载matplotlib==3.7.2，也可不指定版本

pip install matplotlib==3.7.2 -i https://mirrors.aliyun.com/pypi/simple/

6. 指定GPU进行训练

例如指定0卡和1卡进行训练

CUDA_VISIBLE_DEVICES=0,1 python train.py

7. 离线运行(可关闭MobaXterm、无惧断网断电)

以最简单的nohup指令为例，将输出保存到.log中，还有其他方法可自行探索

CUDA_VISIBLE_DEVICES=0,1 nohup python main.py > train_01.log

执行后即可关闭该窗口

8. 查看GPU相关信息

查看GPU驱动版本

nvidia-smi

查看CUDA版本

nvcc -V

查看服务器GPU使用情况

nvitop
# 或者以下指令，若无法执行请联系管理员统一安装，或自行安装
nvtop

9. vi/vim编辑器常用指令

【:wq】 保存后退出

【:wq!】强制保存后退出

【:w 】 保存但不退出

【:w!】 若文件属性为『只读』时，强制写入该档案

【:q】 离开 vi （常用）

【:q! 】 若曾修改过档案，又不想储存，使用 ! 为强制离开不储存档案。

【:e! 】将档案还原到最原始的状态！

【注：前面的 “：” 也要输进去】

10. 验证PyTorch

验证PyTorch是否安装成功、版本号、是否支持GPU、可用显卡数量

python
# 然后在python的命令行 “ > ” 后输入以下指令
import torch
print(torch.__version__)
print(torch.cuda.is_available())
print(torch.cuda.device_count())

PyTorch官方下载链接：https://pytorch.org/get-started/previous-versions/

11. 验证TensorFlow

python
# 然后在python的命令行 “ > ” 后输入以下指令
import tensorflow as tf
tf.__version__
print(tf.__version__)
tf.__path__
print(tf.__path__)

12. CUDA和cuDNN下载地址

Ubuntu服务器无需自己安装配置CUDA和cuDNN，若想在自己的Windows电脑上配置，可从以下官网地址下载：
CUDA官方下载地址：https://developer.nvidia.com/cuda-toolkit-archive
cuDNN官方下载地址：https://developer.nvidia.com/rdp/cudnn-archive

13. 不同服务器之间传输数据集

数据集文件大小过大的时候，使用rsync进行服务器之间传输，速度快且稳定

输入指令的一方为发送方，即“001”文件夹发送到“002”目录下
username为用户名，×××.×××.×××.×××为接收方IP地址

rsync -avz --progress /home/root/datasets/001 username@×××.×××.×××.×××:/home/root/datasets/002

如果接收方的端口号不是默认的22，需用以下指令指定端口号，以指定接收方端口号“1001”为例

rsync -avz --progress -e 'ssh -p 1001' /home/root/datasets/001 username@×××.×××.×××.×××:/home/root/datasets/002

未来按需补充……