linux qdel强制删除任务,SGE：qsub/qstat/qdel/qhost 任务投递和监控

参考：

qsub是最为稳定的底层任务投递系统，就是把一个脚本投递到集群的计算节点上运行。

注意，只有登录节点才有资格投递任务，计算节点没有权限投递任务，只能执行，所以千万不要在投递的脚本内嵌套投递，会报错的。

下面是我最为常用的投递命令：

qsub -cwd -l vf=5g -P 任务单元 -q 队列名

先逐条解释：

-cwd： 就是 current working directory，从当前的目录开始执行作业，也就是log文件会写到当前目录；如果不加cwd的话，就会默认输出到用户的 home 目录。如果你想指定输出目录的话，就可以使用wd命令，log会输出到你指定的目录。

-l：resource=value, 表明作业运行所需要的资源。可以看到我们后面指定了预估内存 vf=5g，一般不用指定 CPU 数。注意，实际这个没什么卵用，很少有集群能严格限制用户的内存使用，vf 只会影响你投递的效率，有人就会钻空子，尽量把内存往低了投，尽快排上。这一部分其实就是个道德约束。

-P：大型组织里会分团队，分项目，不同的项目需要制定项目名，主要是为了后期方便统计计算资源的消耗，算钱，其实这个命令没卵用。

-q：指定队列名，这个就非常重要了，队列就是计算机的队列，一个队列只有一些特定的计算节点，你投了哪个节点，你就只能用该节点指定的计算资源。

待续~

qsub -help

OGS/GE 2011.11p1

usage: qsub [options]

[-a date_time] request a start time

[-ac context_list] add context variable(s)

[-ar ar_id] bind job to advance reservation

[-A account_string] account string in accounting record

[-b y[es]|n[o]] handle command as binary

[-binding [env|pe|set] exp|lin|str] binds job to processor cores

[-c ckpt_selector] define type of checkpointing for job

[-ckpt ckpt-name] request checkpoint method

[-clear] skip previous definitions for job

[-cwd] use current working directory

[-C directive_prefix] define command prefix for job script

[-dc simple_context_list] delete context variable(s)

[-dl date_time] request a deadline initiation time

[-e path_list] specify standard error stream path(s)

[-h] place user hold on job

[-hard] consider following requests "hard"

[-help] print this help

[-hold_jid job_identifier_list] define jobnet interdependencies

[-hold_jid_ad job_identifier_list] define jobnet array interdependencies

[-i file_list] specify standard input stream file(s)

[-j y[es]|n[o]] merge stdout and stderr stream of job

[-js job_share] share tree or functional job share

[-jsv jsv_url] job submission verification script to be used

[-l resource_list] request the given resources

[-m mail_options] define mail notification events

[-masterq wc_queue_list] bind master task to queue(s)

[-notify] notify job before killing/suspending it

[-now y[es]|n[o]] start job immediately or not at all

[-M mail_list] notify these e-mail addresses

[-N name] specify job name

[-o path_list] specify standard output stream path(s)

[-P project_name] set job's project

[-p priority] define job's relative priority

[-pe pe-name slot_range] request slot range for parallel jobs

[-q wc_queue_list] bind job to queue(s)

[-R y[es]|n[o]] reservation desired

[-r y[es]|n[o]] define job as (not) restartable

[-sc context_list] set job context (replaces old context)

[-shell y[es]|n[o]] start command with or without wrapping -c

[-soft] consider following requests as soft

[-sync y[es]|n[o]] wait for job to end and return exit code

[-S path_list] command interpreter to be used

[-t task_id_range] create a job-array with these tasks

[-tc max_running_tasks] throttle the number of concurrent tasks (experimental)

[-terse] tersed output, print only the job-id

[-v variable_list] export these environment variables

[-verify] do not submit just verify

[-V] export all environment variables

[-w e|w|n|v|p] verify mode (error|warning|none|just verify|poke) for jobs

[-wd working_directory] use working_directory

[-@ file] read commandline input from file

[{command|-} [command_args]]

account_string account_name

complex_list complex[,complex,...]

context_list variable[=value][,variable[=value],...]

ckpt_selector `n' `s' `m' `x'

date_time [[CC]YY]MMDDhhmm[.SS]

job_identifier_list {job_id|job_name|reg_exp}[,{job_id|job_name|reg_exp},...]

jsv_url [script:][username@]path

mail_address username[@host]

mail_list mail_address[,mail_address,...]

mail_options `e' `b' `a' `n' `s'

working_directory path

path_list [host:]path[,[host:]path,...]

file_list [host:]file[,[host:]file,...]

priority -1023 - 1024

resource_list resource[=value][,resource[=value],...]

simple_context_list variable[,variable,...]

slot_range [n[-m]|[-]m] - n,m > 0

task_id_range task_id['-'task_id[':'step]]

variable_list variable[=value][,variable[=value],...]

wc_cqueue wildcard expression matching a cluster queue

wc_host wildcard expression matching a host

wc_hostgroup wildcard expression matching a hostgroup

wc_qinstance wc_cqueue@wc_host

wc_qdomain wc_cqueue@wc_hostgroup

wc_queue wc_cqueue|wc_qdomain|wc_qinstance

wc_queue_list wc_queue[,wc_queue,...]

ar_id advance reservation id

max_running_tasks maximum number of simultaneously running tasks

exp explicit:,[:...]

lin linear:[:,]

str striding::[:,]

(原创)PBS | SGE 智能任务投递系统monitor | python实现

之前看到过高手写的一个monitor,用python面向对象实现的,依赖几个核心的python包,drmaa,zodb,理论上来说解决了所有的任务投递问题. 但是在复杂的集群环境下还是会经常出问题,这 ...

SGE基本操作

SGE怎样工作: 1. 接受用户投放的任务 2. 在任务运行以前,将任务放到一个存储区域 3. 发送任务到一个执行设备,并监控任务的运行 4. 运行结束写回结果并记录运行日志 常用的SGE命令: 1. ...

sge的简单的应用

1.sge提交脚本qsub 1.qsub work.sh work.sh 不能以数字开头 2.qsub work.sh  默认工作路径为/home/username 3.qsub -cwd work. ...

sge学习 (转)

转自http://biancheng.dnbcw.info/linux/417992.html 命令: qsub   -  submit a batch job to Grid Engine. qsh ...

16、SGE作业调度系统的简介

转载:http://www.zilhua.com/2222.html http://gridscheduler.sourceforge.net/htmlman/ SGE作业调度系统的简介 一.常见的几 ...

ActiveMQ笔记(6)：消息延时投递

在开发业务系统时,某些业务场景需要消息定时发送或延时发送(类似:飞信的短信定时发送需求),这时候就需要用到activemq的消息延时投递,详细的文档可参考官网说明,本文只介绍二种常用的用法: 注:本文 ...

IM消息送达保证机制实现(二)：保证离线消息的可靠投递

1.前言 本文的上篇中,我们讨论了在线实时消息的投递可以通过应用层的确认.发送方的超时重传.接收方的去重等手段来保证业务层面消 ...

Sun Grid Engine (SGE)大型集群作业调度系统

Oracle Grid Engine 作业调度系统的简介(目前为止我用过PBS和SGE) SGE作业调度系统学习笔记 SGE作业调度 USE of Sun Grid Engine(SGE) 待续~

Kakfa消息投递语义

Message Delivery Semantics At most once -- Messages may be lost but are never redelivered(消息可能丢失但不会重 ...

随机推荐

优秀的JavaScript开发框架

JavaScript基本上是一个面向对象的脚本语言,创建web应用程序和互动网站.Javascript框架也被称为Javascript库.JavaScript框架很容易提高设计web开发工作,提供了许 ...

前端模板Juicer

Juicer 是一个高效.轻量的前端 (Javascript) 模板引擎,使用 Juicer 可以是你的代码实现数据和视图模型的分离(MVC). 除此之外,它还可以在 Node.js 环境中运行. 用 ...

两分钟了解REACTIVEX

可能在之前,你就已经看过这篇响应式编程的入门.什么?太长?好吧,这都没关系,Rx并不难,你甚至可以自己实现一个这样的框架. 知道数组吧?你当然知道,这就是: [ 14, 9, 5, 2, 10, 13 ...

click 绑定(一)无参数的click 事件绑定

目的 click绑定在DOM元素上添加事件句柄以便元素被点击的时候执行定义的JavaScript 函数.大部分是用在button,input和连接a上,但是可以在任意元素上使用.   例子

Android--将图片存放到我们本地

代码里面有详细的解释,我就不多说了 //处理并保存图像 private File dealPhoto(Bitmap photo){ FileOutputStream fileOutputStream ...

Mysql日期函数，时间函数使用的总结

一.MySQL 获得当前日期时间 函数 1.1 获得当前日期+时间(date + time)函数:now() mysql> select now();+--------------------- ...

1230: [Usaco2008 Nov]lites 开关灯

1230: [Usaco2008 Nov]lites 开关灯 Time Limit: 10 Sec  Memory Limit: 162 MBSubmit: 1162  Solved: 589[Sub ...

【Python】Talk Python To Me Podcast播客

这是Python相关的一个播客,通过播客的形式给大家讲述python那点事,相关的链接都会列出来,有一些是由文本内容的,如果听不太懂就看看英文原文.不fanqiang的情况下,网页打开没有问题,但是播 ...

Spring基础学习，附例子代码讲解

什么是Spring.IOC.AOP.DI?     Spring是一个基于IOC和AOP的结构J2EE系统的框架.     IOC(Inversion Of Control)控制反转(Spring的基 ...

watch的几种用法

https://www.cnblogs.com/hity-tt/p/6677753.html . 亲测无误