如何在Bash中运行并行作业/进程/程序

最新推荐文章于 2024-05-28 20:40:15 发布
最新推荐文章于 2024-05-28 20:40:15 发布
阅读量570 收藏
点赞数
文章标签： java linux python jvm shell
原文链接：https://www.poftut.com/how-to-run-parallel-jobsprocessprograms-in-bash/
版权

We generally run jobs in bash in serial order. Serial order means one command runs and after completion other command starts. There is another way to run jobs which are named parallel. Running parallel means multiple jobs run at the same time side by side.

我们通常以连续顺序在bash中运行作业。 串行命令表示一个命令运行，完成后另一个命令启动。 还有另一种运行并行作业的方法。 并行运行意味着多个作业同时并发运行。

将工作发送到后台 (Send Job To The Background)

We will start with a simple example where two ping commands will be run in the background at the same time. We will add & to the end of each command. We will ping two domain names google.com and poftut.com.

我们将从一个简单的示例开始，其中两个ping命令将在后台同时运行。 我们将在每个命令的末尾添加& 。 我们将ping两个域名google.com和poftut.com 。 

$ ping google.com & ping poftut.com &
Send Job To The Background 
Send Job To The Background
将工作发送到后台

We can see from the output that after the command is issued we have two lines which show the commands processes and their related PID and there is also information about the background jobs in square brackets job id. Both commands will start in the background and will resume up to kill operation or exit.

从输出中我们可以看到，发出命令后，我们有两行显示了命令进程及其相关的PID，并且在方括号job id中还包含有关后台作业的信息。 这两个命令都将在后台启动，并将继续执行以终止操作或退出。

等待运行新作业 (Wait Before Running New Job)

In some cases, we may need to wait before running multiple parallel jobs. We can use the bash wait function to wait for finish previously started jobs. In this example, we will run jobs j1 and j2 before running j3 . But we will wait to complete jobs j1 and j2 before running j3job in the background.

在某些情况下，我们可能需要等待才能运行多个并行作业。 我们可以使用bash wait功能来等待先前启动的作业完成。 在此示例中，我们将在运行j3之前运行作业j1和j2 。 但是我们将等待在后台运行j3作业之前完成作业j1和j2 。 

j1 &
j2 &

wait

j3 &

GNU并行 (GNU Parallel)

GNU Parallel is a very useful tool that can start multiple jobs in a parallel way. We will use the command parallel and specify the jobs we want to run after ::: . In this example, we will run ping poftut.com and ping google.com commands in parallel which will output the same time.

GNU Parallel是一个非常有用的工具，可以以并行方式启动多个作业。 我们将使用parallel命令，并在:::之后指定要运行的作业。 在此示例中，我们将并行运行ping poftut.com和ping google.com命令，它们将输出相同的时间。 

$ parallel ::: "ping poftut.com" "ping google.com"

如何在Bash Infographic中运行并行作业/流程/程序 (How To Run Parallel Jobs/Process/Programs in Bash Infographic)

How To Run Parallel Jobs/Process/Programs in Bash Infographic
How To Run Parallel Jobs/Process/Programs in Bash Infographic
如何在Bash Infographic中运行并行作业/流程/程序
LEARN MORE  Linux vs Unix
了解更多Linux vs Unix

翻译自: https://www.poftut.com/how-to-run-parallel-jobsprocessprograms-in-bash/

cunjiu9486
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
bash并行执行
01-19 2077
#!/bin/bash for ((i=0;i<5;i++));do { sleep 3; echo "done!" } done wait 上面这段bash脚本执行一次要耗时3x5=15秒钟 。  但下面这段bash脚本执行完却仅耗时3秒钟 #!/bin/bash for ((i=0;i<5;i++));
在bash shell中并行运行命令
fengfengzai0101的博客
01-20 2340
介绍 三种方式可以并行运行命令 使用parallel命令 结合使用&和wait命令 使用xargs命令 放任务到后端 command & command arg1 arg2 & custom_function & 或者 prog1 & prog2 & wait prog3 上面的代码是：当prog1和prog2运行完成后，prog3才会开始运...
Linux Shell实现多进程并发执行
weixin_34233618的博客
04-02 328
在bash中，使用后台任务来实现任务的“多进程化”。在不加控制的模式下，不管有多少任务，全部都后台执行。也就是说，在这种情况下，有多少任务就有多少“进程”在同时执行。我们就先实现第一种情况： 　　在bash中，使用后台任务来实现任务的“多进程化”。在不加控制的模式下，不管有多少任务，全部都后台执行。也就是说，在这种情况下，有多少任务就有多少“进程”在同时执行。我们就先实现第...
【Linux】自己实现一个bash进程
2201_76024104的博客
05-28 1031
还有一个问题，就是当我们什么都不输入，直接回车时，我们其实就没必要在执行下边了，直接回到循环最开始就可以，于是我们可以做一个判断就是如果输入的命令的长度为0，那么就直接回到循环最开始处，这里的长度可以让Interactive的返回值来给。为例，如果判断出来了用户就是要输入cd命令，如果后边什么都没有，那么默认是回到家目录，如果有，那就chdir到那个目录，并且不要忘记命令行提示符可是一直通过环境变量PWD来打印我们当前所在目录的，所以我们还要通过putenv把PWD。了，就是让子进程执行，父进程等待。
bash并行编程
Embedded Guru
12-26 604
第一种： #!/bin/bash set -ex function work() { echo work $1 starting... sleep 2 echo work $1 done } function parallel_init() { maxpro=$1 tmpfifo=/tmp/$$.fifo [[ -e ${tmpfifo} ]] && rm -rf ${tmpfifo} mkfifo ${tmpfifo} exec 16<>${tmpfifo
bash并行
老赵的博客
12-10 1058
bash中可以通过并行执行来提高效率。 1、无限制的并行实例： ##串行脚本 [root@centos7 scripts]# cat serial_proc_ping.sh #!/usr/bin/bash #串行执行ping主机命令 #v1.0 by zhaoyq 20191210 for i in {1..255} do ip=192.168.86.$i ping -c1 -W1 $ip...
02.并行程序的编译和运行(一).pdf
10-02
运行并行程序并不直接通过命令行执行，而是需要通过TORQUE系统提交作业。TORQUE是一个资源管理和作业调度系统，它可以按照用户权限分配计算资源，确保公平性和效率。用户需编写一个TORQUE脚本，指定任务所需的计算...
linux下的并行程序设计
06-11
在Linux环境下进行并行程序设计是一项关键的技能，特别是在高性能计算领域。这一领域的核心目标是通过多线程、多进程或者分布式计算来提高计算效率，处理大规模的数据和复杂的科学问题。以下将详细介绍其中的关键...
mpich2并行计算用户手册（英文）
11-24
在MPICH2中，默认的运行时环境已经为用户准备好了，这意味着在编译、链接和运行MPI应用程序时，无需额外配置复杂的环境变量或参数。用户可以立即开始编写并行程序，并利用MPI提供的功能。 **2.2 启动并行任务** ...
Ubuntu 的基于事件的启动进程
05-22
这段脚本定义了一个名为`mudat`的作业，该作业会在系统进入多用户模式（即运行级别2）时执行。具体来说，它会在/tmp/mudat.out文件中记录一条消息，内容为“进入多用户模式”的时间戳。 #### Upstart的实际应用 ...
中科曙光培训教材-MPI并行库的调优参数及调优策略.pdf
最新发布
07-09
在大规模集群上运行MPI程序时，通常会使用作业调度系统如PBS。通过编写PBS脚本来提交作业，可以更好地管理资源分配和任务执行。 ```bash #!/bin/bash #PBS -N mpi_job #PBS -l nodes=2:ppn=4 #PBS -l walltime=00:...
parallel-bash:在纯bash中并行处理命令以及功能支持
04-24
平行重击 纯bash中命令的并行处理。 最小的 无需外部程序 支持功能而无需调用新的外壳 除了上述原因之外，这显然不是xargs的完全替代。 我主要是为了不使用新的外壳而使用函数并行编写的。 例如，要将函数与xargs或gnu parallel并行使用： main() { echo "${1}" ;} export -f main printf "%b\n" {1..1000} | xargs -n1 -P 10 -c bash -c 'main {}' printf "%b\n" {1..1000} | parallel -j 10 main {} 在这里，它将启动1000/10 = 100 bash shell。 这只会增加执行的总时间，并且会不必要地减慢速度。 注意：在gnu parallel中，即使我们不需要在命令中添加bash -c部分，但它在内部仍使用新的shell
通过案例精通parallel并行命令 利用多核CPU来加速你的Linux命令
08-24
你是否曾经有过要计算一个非常大的数据(几百GB)的需求？或在里面搜索，或其它操作——一些无法并行的操作。数据专家们，我是在对你们说。你可能有一个16核或更多核的CPU，但我们合适的工具，例如 grep, bzip2, wc, awk, sed等等，都是单线程的，只能使用一个CPU内核。我们需要用到GNU Parallel命令，它让我们所有的CPU核心在单机内做神奇的map-reduce操作，当然，这还要借助很少用到的–pipes 参数(也叫做–spreadstdin)。这样，你的负载就会平均分配到各CPU上，真的。
并行与分布式 作业介绍
11-18
并行与分布式 作业介绍 对实战hadoop这本书的第一个实例做了一个概括 大家可以参考看看
在bash或脚本中，如何并行执行命令或任务（命令行、parallel、make）
ZhongUncle的博客
02-02 2113
最近要批量解压归档文件和压缩包，所以就想能不能并行执行这些工作。因为tar自身不支持并行解压，但是像make却可以支持生成一些文件，所以我才有了这种想法。方法有两种，第一种不用安装任何软件或工具，直接bash或其他 Shell 中就可以使用；第二种需要安装 GNU parallel 这个工具来进行。二者在使用上都很简单，但是后者更人性化（应该可以用这个词来形容）一些。最后还介绍了一种比较奇特的方法，是无意中看到的，虽然没啥用但是有点意思。
关于bash如何进行并发执行！
weixin_34238633的博客
11-27 817
通常我们用脚本对一批机器做操作的时候，我们会用如下的代码片段： for i in `cat ip.txt`; do 　　　　　　　　# To do something... 　　　　　　　　echo $? done 但是这样的模版有个问题，在机器数量比较少的时候，还能取得...
Bash 学习之后台运行 jar 程序
howeres的博客
09-17 678
nohup java -jar xxx.jar >log 2>&1 &
[shell]bash-parallel
apsvvfb的专栏
06-23 945
tcsh是不支持函数的,记住记住.就像在linux的terminal下命令的时候可以在最后加一个&,表示让它在后台跑(可以 用top命令查看后台的进程都有啥,)
bash运行脚本的几种方式
weixin_30905981的博客
05-17 3593
转载自https://www.jianshu.com/p/ba6efda13e23 转载地址：http://www.jquerycn.cn/a_8354 bash shell 脚本执行的方法有多种，本文作一个总结，供大家学习参考。 假设我们编写好的shell脚本的文件名为hello.sh，文件位置在/data/shell目录中并已有执行权限。 方法一：切换到shell脚本所在...
如何在容器中按照/bin/bash程序
05-27
2. 安装bash程序：在容器中运行apt-get update命令更新apt源，并使用apt-get install -y bash命令安装bash程序。如果你使用的是非Debian系列的Linux系统，可以使用相应的包管理工具来安装bash程序。 3. 退出容器：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值