11、提交本地作业到服务器（Linux系统）

已于 2022-10-14 09:14:35 修改
阅读量901 收藏
点赞数
分类专栏： 气象数据处理与可视化 文章标签： linux bash 运维
于 2022-09-13 16:55:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41857385/article/details/126804897
版权

文章目录


随着观测手段的增多，观测变量的多样化，气象数据逐渐呈现出海量化的特征。海量的数据对数据处理产生一定的挑战，个人笔记本或小型工作站已经难以满足日常数据处理的需求，必须借助服务器或超算进行数据的处理，本文将介绍如何向服务器提供提交本地作业进行大规模运算，提高运行速度。

一、后台运行

直接在命令行界面运行shell脚本有时不怎么方便，一些脚本可能要执行很长一段时间，此时你无法在终端会话中进行任何操作。此时，我们可以通过使用&命令将脚本设置为后台运行。

(base) [hhh@zhang ~]$ sleep 100 &
[1] 187946

当&放到命令行后时，它会将命令和bash shel

了解本专栏 订阅专栏 解锁全文 超级会员免费看
爱转呼啦圈的小兔子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
服务器提交任务和直接运行,linux下任务提交以及如何后台运行任务
weixin_42168830的博客
07-29 3412
有时候 我讲解后台提交任务，一般都要讲半个小时，有时候讲一百遍也不能要求所有人记住每个字眼，因此我写下来这篇博文，希望更多的同行者可以复习并也可以通过博文来理解并解决你的困扰！登录你的服务器或mac的终端任务投递步骤核查软件是否安装，能否--help参数用法是否正确，查询一下参数的具体含义，根据--help翻译英文检查输入文件路径核查输出文件路径提交任务，如有有报错，解决报错在投递任务查看任务是否...
Linux系统中配置系统设置
最新发布
weixin_73725158的博客
10-17 308
在“代理设置”部分，输入代理主机（proxy_host）和代理端口（proxy_port）。在“IPv4/IPv6设置”页面中，选择“手动”，然后输入您的IP地址、子网掩码、默认网关和DNS服务器。在接口编辑页面中，选择“IPv4设置”或“IPv6设置”，根据您的网络接口使用的是IPv4还是IPv6。在网络设置页面中，您应该看到一个名为“系统代理”的选项。在“IPv4/IPv6设置”页面的底部，选择“保存”。在“手动配置”页面中，选择“使用代理”。在“代理设置”页面的底部，选择“保存”。
linux作业管理系统pbs,集群上作业提交系统LSF和PBS的使用与简介
weixin_32262089的博客
05-13 4101
集群上作业提交系统的使用与简介LSF作业提交系统bsub：作业提交通用方法bkill：删除作业bjobs：查看作业bqueues：查看队列信息PBS作业提交系统qsub：作业提交通用方法qdel：删除作业qstat：显示作业状态pbsnodes：显示集群中所有节点信息LSF作业提交系统bsub：作业提交通用方法#BSUB -n num#BSUB -l nodes=1:ppn=1#BSUB -q q...
【PBS环境】服务器批处理作业 & 脚本如何提交 qsub, qdel, qstat
weixin_43606515的博客
01-08 4276
小白入门PBS，一脸懵逼，记一下主要命令和脚本
Linux小技巧:后台提交任务与日志保存
春华秋实
01-11 1万+
前言：先说说自己的情况，从18年9月开始，整个工作环境和生产工具发生了很大的变化，之前工作大部分时间用的是Windows做开发和少数Linux，现在要全部使用mac和公私有云的Linux环境，这种情况下对自己的做事方式、技术要求、技术栈和使用工具都发生了变化。由于之前在Linux上面的积累很少，所以又要开启一段学习之路啦！ 今天，我重点要介绍的是Linux后台任务提交的几种常用方式推荐。 为什...
Linux OpenPbs 批处理作业和计算机系统资源管理软件包
04-13
作业服务器： 作业服务器是PBS的中心。在本文档中，它一般被称作服务器或被称为可执行文件的名字pbs_server。所有命令和其它守护进程都通过IP网络和服务器通信。服务器的主要功能就是提供基本的批处理服务，例如...
Chatroom-Demo:操作系统与Linux程序设计团队作业
03-11
基于套接字编程的多人聊天室基于Scoket编程的多客户端聊天室项目已托管...接收包括其他用户信息以及服务器信息发送文件，接收包括其他用户文件聊天功能展示收发文件功能展示食用方法clone项目至本地，使用git clone "
linux登录软件及使用步骤1
08-03
Linux 登录软件是用于远程连接Linux服务器的工具，如SSH（Secure Shell）客户端，它允许用户通过加密的方式安全地在本地计算机与远程Linux系统之间进行交互。本篇将详细介绍使用Linux登录软件的过程及相关知识点。 ...
Linux shell编程指南
05-29
3.4.1 使用nohup命令提交作业 29 3.4.2 一次提交几个作业 29 3.5 小结 30 第4章 文件名置换 31 4.1 使用* 31 4.2 使用？ 32 4.3 使用[...]和[!...] 32 4.4 小结 33 第5章 shell输入与输出 34 5.1 echo 34 5.2 read ...
Linux常见服务功能
07-24
知识点： lpd 是一个提供了打印守护程序服务，能够提供打印服务，负责将 lpr 等程序提交给打印作业。 19. mcserv：Midnight Commander 服务进程。 知识点： mcserv 是一个 Midnight Commander 服务进程，能够提供...
服务器提交任务和直接运行,服务器端大批量提交计算任务的方法
weixin_30941657的博客
07-29 1310
引言服务器端批量提交任务引言许多科研活动涉及大量繁重的计算任务，如分子模拟，量化计算，数据分析等等。往往这些计算都由服务器来完成。大致的流程如下：通常科学计算用服务器安装的都是linux等系统，且受限于网络速度，与用户的交互界面也是命令行式的(还记得dos吧)。在linux下，任何东西都是文件，任何事情都可以通过操作文件来实现。这是非常灵活的设计，方便我们定制一些特殊功能，利用好这些特性可以大大提...
linux命令提交任务,Linux命令——任务控制
weixin_33189820的博客
05-04 1540
jobs 列出所有后台任务& 将任务放到后台执行Ctrl^Z 暂停当前(前台)任务suspend 暂停shellfg 恢复任务(将任务带到前台)bg 将暂停的任务放到后台继续执行任务控制(job control)是任何Linux shell都必备的能力，也就是在后台(多任务)与前台(实时现场)运行程序的能力。任务job是shell的工作单位，当你以交互方式下达一个命令，shell就将该命令...
linux任务后台执行方法
weixin_34221036的博客
06-22 377
为什么80%的码农都做不了架构师？>>> ...
linux提交后台任务
07-11 2178
当我们在终端或控制台工作时，可能不希望由于运行一个作业而占住了屏幕，因为可能还有更重要的事情要做，比如阅读电子邮件。对于密集访问磁盘的进程，你可能希望它能够在每天的非负荷高峰时间段运行。为了使这些进程能够在后台运行，也就是说不在终端屏幕上运行，有几种选择方法可供使用。在本文中将讨
提交作业至服务器跑
weixin_33860147的博客
10-30 847
文琦的推荐： http://www.cnblogs.com/allenblogs/archive/2011/05/19/2051136.html nohup command > myout.file 2>&1 & 转载于:https://www.cnblogs.com/Wanggcong/p/7755746.html
qsub作业提交命令
热门推荐
海云之家
11-26 8万+
1、qsub提交作业         语法: qsub [-a date_time] [-A account_string] [-e path] [-h] [-I] [-j join] [-k keep] [-l resource_list] [-m mail_options] [-n Node_allocation_Method [-L v1,[v2,[v3,[v4]]]]] [-M use
如何将linux上发布的服务加入到后台服务
u013232219的博客
02-18 303
这样发布 发布jar应用到后台运行： nohup java -jar jbjf-system-2.1.jar & nohup java -jar -Dspring.profiles.active=dev -Xms64m -Xmx1024m jbjf-system-2.1.jar >> …/log/log.out 2> 1 & 发布hive到后台运行： nohup ...
linux服务器 qsub .pbs 提交作业 无特殊报错，但是提交不上的 bug
09-03 1529
需要在每次输完代码空一行
xshell上传本地文件到linux服务器
07-16
使用Xshell上传本地文件到Linux服务器非常简单。下面是具体的步骤： 1. 首先，确保你已经成功连接到你的Linux服务器。打开Xshell并输入服务器的IP地址、用户名和密码，然后点击连接按钮进行连接。 2. 在连接成功后...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱转呼啦圈的小兔子

觉得文章不错？请小编喝杯咖啡吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值