job作业存放在哪里_工具 | 大型集群作业调度系统SGE

以前在服务器(linux)上跑程序都是直接裸跑，没用过qsub。

qsub is a command used for submission to the SGE cluster.

一方面是"小作坊"可能并不需要搭建集群，另一方面，配置SGE貌似也不简单？

SGE

SGE(Sun Grid Engine)，甲骨文(Oracle)公司的荣誉产品。中文名集群队列系统或者大型集群作业调度系统，不管怎么个叫法，其本质用于高性能计算(high-performance computing, HPC)集群，负责接收、调度和管理大量独立、并行或交互式作业的执行，其中就涉及到资源(如CPU、内存、磁盘空间等)的分配。

The Sun Grid Engine queuing system is useful when you have a lot of tasks to execute and want to distribute the tasks over a cluster of machines.

http://bioinformatics.mdc-berlin.de/intro2UnixandSGE/index.html

登录节点和计算节点

服务器集群一般由登录节点和计算节点组成。

登录节点用来执行日常的简单命令，不能执行大型的资源消耗型的任务，一是慢，二是容易崩溃...

资源消耗型的任务一般在登录节点通过 qsub 提交到计算节点执行。计算节点没有权限投递任务，只能执行。

qsub 投递任务

SGE接收到用户提交的任务后会将其储存至一个特定区域，然后将其调度至计算节点监控其运行，运行结束后返回执行结果。该过程会在后台自动执行(无需nohup)。

qsub -cwd -l vf=*G,p=n,h=node -q main.q test.sh

参数说明：

-cwd：在当前目录下执行任务，运行日志也会输出到当前目录，或用 -wd 指定输出目录。

-l：申请资源，包括内存、CPU、特定节点等。vf=*G设置执行程序预估的内存大小，应该稍微大于真实的内存，否则可能会导致节点跑挂；p=n用于设置所需的CPU数；h=node设置任务指定投递的节点名称。一般只设置vf即可！

-q：指定任务要投递到的队列名称。如果不指定的话，SGE会在用户可使用的队列中选择一个满足要求的队列( qstat-g c 可查看按内存排序的队列)。

test.sh：将要执行的脚本

例如，要提交 hello_word.sh 脚本，其中设置了唯一的一个命令是 echo"hello word!" ，提交执行：

qsub -cwd -l vf=1G -q all.q hello_word.sh

会提示job-ID(444824)，使用 qstat 命令可查看进度(如果执行了 qstat 什么都没输出，就是执行完了)，state列标识任务状态，qw代表任务在排队等待执行，r代表任务正在执行，s代表任务暂时挂起，dr代表任务所在的计算节点挂掉了...

执行完成后，会在当前路径下会生成 helloword.sh.e444824 和 helloword.sh.o444824 两个文件(可以用 -e和 -o 参数设定输出文件名)。前者存放标准错误输出(如果程序正常执行没有报错，就是空的), 后者存放标准输出，就是 test.sh 中命令的执行结果，即

hello word!

对于上示简单操作，直接提交命令的方式要比提交.sh脚本的方式更便捷：

echo "hello word\!" | qsub -cwd -l vf=1G -q all.q

但是，推荐脚本的方式提交！

已知job-ID，还可以查看特定任务的状态、删除任务等：

## 查看指定任务状态

qstat -j job-ID

## 查看某个用户的任务(不包括已经执行完成的任务)

qstat -u username

## 删除任务

qdel job-ID

## 挂起任务

qmod -s jobID

## 继续运行某个挂起的任务

qmod -us jobID

qhost 相关操作：

## 查看计算节点资源状况信息

qhost

qhost -j # 详细信息

## 列出某个用户在每个节点上的任务

qhost -u username

工具系列·往期精彩

Docker | 终于有了自己的对象，呸，镜像！

软件推荐 | linux下载神器-axel

且用且珍惜！

课程已经正式发布且更新完成！