High Performance Computing (HPC) 使用指南(香港城市大学为例)

致谢：特别感谢王际潮的耐心指导

配置环境变量

vim ~/.bashrc 
i #插入
export PATH=/home/yupeng/anaconda3/bin:$PATH 
:wq #保存退出
source ~/.bashrc

配置环境空间

conda create -n spacename python=3.8

启动环境空间

source activate spacename

装包

pip install scipy

查看版本号和包

pip -V
pip list

1.代码要使用相对路径编写

2.链接HPC

ssh hongzli2@burgundy.hpc.cityu.edu.hk

如果是HTGC的话

ssh hongzli2@htgc1.cs.cityu.edu.hk

3.上传本地文件到服务器(新开一个cmd窗口，在本地cmd操作)
传输单个文件scp，传输文件夹scp -r (-r： 递归复制整个目录). 上传下载通用
scp 本地绝对路径 jichawang2@burgundy.hpc.cityu.edu.hk:/home/jichawang2

scp -r C:\Users\Administrator\Downloads\QuadraticKnapsack01GRASP-master hongzli2@burgundy.hpc.cityu.edu.hk:/home/hongzli2

4.sh文件编码问题
解决办法

5.一定要在source activate env进入指定之后，在使用sbatch命令提交sh文件进入job queue

sbatch sbatch_A.sh

6.CPU和GPU可以同时各运行一个程序，2个CPU程序只能排队运行

7.从服务器上下载文件(在本地cmd操作)
scp jichawang2@burgundy.hpc.cityu.edu.hk:/home/jichawang2/SAR 本地绝对路径
将服务器端的SAR文件夹全部拷贝至指定的绝对路径下。得到 绝对路径/SAR/…

scp hongzli2@burgundy.hpc.cityu.edu.hk:/home/hongzli2/scratch/home86396.log E:\HPC

8.可以终止自己的进程

scancel 82051 82052 85063

9.查看自己的队列

squeue -l

代码测试登录

ssh hongzli2@v100t.cs.cityu.edu.hk

可能会用到的基本Linux命令

删除文件(删除当前目录下的所有文件及目录，并且是直接删除，无需逐一确认命令行为)

rm -rf anaconda3/

查看文件，并退出

vim sbatch_A.sh
ESC 
:wq  %保存退出
enter

:q!  %不保存退出

当前路径

pwd

如果是用系里的condor

matlab的提交

0. .m文件的写法

function hello(n)
if (nargin<1)
  n = 0;
else
  n = str2num(n); %一定要用这个函数转换！
end

for i=1:((n+1)*10)
  disp(sprintf('hello %d', i));
  pause(1);
end

2. 先用 mcc 编译

mcc -v -m filename.m

3. 生成可执行的文件 filename 后，用shell script (run_filename.sh) 去run

./run_filename.sh /usr/local/matlab 3 % 3是参数

4. 生成.sh后，提交任务

condor_submit run_filename_matlab.condor

5. 提交了任务后，查看任务

condor_q
condor_q hongzli2 %查看自己的任务