Shell脚本中的并发

主要记录一下Shell脚本中的命令的并发和串行执行以及如何控制进程的数量。

默认的情况下,Shell脚本中的命令是串行执行的,必须等到前一条命令执行完后才执行接下来的命令,但是如果我有一大批的的命令需要执行,而且互相又没有影响的情况下(有影响的话就比较复杂了),那么就要使用命令的并发执行了。

看下面的代码:


#!/bin/bash  
  
for(( i = 0; i < ${count}; i++ ))  
do  
        commands1  
done  
  
commands2

对于上面的代码,因为每个commands1都挺耗时的,所以打算使用并发编程,这样就可以节省大量时间了。

修改后的代码如下:

#!/bin/bash  
  
for(( i = 0; i < ${count}; i++ ))  
do  
{  
        commands1  
}&  
done  
  
commands2

这样的话commands1就可以并行执行了。 实质是将commands1作为后台进程在执行,这样主进程就不用等待前面的命令执行完毕之后才开始执行接下来的命令。

但是我的本来目的是让commands1的这个循环都执行结束后,再用command2去处理前面的结果。如果像上面这样写的话,在commands1都还没结束时就已经开始执行commands2了,得到了错误的结果。

再次修改代码如下:

#!/bin/bash  
  
for(( i = 0; i < ${count}; i++ ))  
do  
{  
        commands1  
}&  
done  
wait  
  
commands2 

上面这样就可以达到预期的目的了,先是所有的commands1在后台并行执行,等到循环里面的命令都结束之后才执行接下来的commands2。

对于上面的代码,如果count值特别大的时候,我们应该控制并发进程的个数,不然会影响系统其他进程的运行,甚至死机。

那么如何控制进程的数量?
在网上参考了一下别人的方法,主要都是利用管道的思想。

参考如下程序:

#!bin/bash  
  
PRONUM=10               #进程个数  
  
tmpfile="$$.fifo"        #临时生成管道文件  
mkfifo $tmpfile  
exec 6<>$tmpfile  
rm $tmpfile  
  
for(( i=0; i<$PRONUM; i++ ))  
do  
        echo "init."  
done >&6  
  
for(( i = 0; i < ${count}; i++ ))  
do  
        read line  
        #echo $line  
        {  
                commands  
                echo "line${i} finished."  
        } >&6 &  
done <&6  
  
wait  

初始时给管道内写入PRONUM个字符串,然后每从管道内读出一个字符串就生成一个子进程,当管道内没有字符串可读时就阻塞在那里,不能创建新的子进程,一直等到有新的字符串进来时才继续运行。当每个并发进程执行完毕时又向管道内写入一个字符串,表示当前子进程已执行完毕,可以创建新的子进程了。

转自:Shell脚本中的并发

### 回答1: 你可以使用以下几种方法在 shell 脚本并发执行命令: 1. 使用 & 符号:在命令后面加上 &,表示在后台运行该命令。 例如: ``` command1 & command2 & ``` 2. 使用 nohup 命令:nohup 命令可以在后台运行命令,并且不会因为终端关闭而停止运行。 例如: ``` nohup command1 & nohup command2 & ``` 3. 使用 xargs 命令:xargs 命令可以将输入的一个或多个命令并行执行。 例如: ``` echo "command1 command2" | xargs -P 2 -I {} sh -c {} & ``` 4. 使用 parallel 命令:parallel 命令是一个专门用于并行执行命令的工具。 例如: ``` parallel -j 2 command1 command2 ``` 这些方法都可以帮助你在 shell 脚本并发执行命令,你可以根据自己的需求选择合适的方法。 ### 回答2: Shell脚本可以使用多种方法实现并发执行命令,其中比较常见的方法有以下几种: 1. '&' 在Shell脚本中,可以使用'&'符号将命令放到后台执行,从而实现并发执行。例如: ``` command1 & command2 & ``` 2. 'wait' 使用'wait'命令可以等待所有后台任务执行完毕,然后继续执行下面的命令,例如: ``` command1 & command2 & wait echo "All tasks have finished." ``` 3. 'xargs' 使用'xargs'命令可以实现并发执行命令。'xargs'命令可以从标准输入或者文件中读取参数,并将这些参数传递给后面跟随的命令执行。例如,在Linux系统中可以使用'find'命令查找某个目录下的所有文件,并使用'xargs'命令并发执行'file'命令: ``` find /path/to/directory/ -type f | xargs -P 5 -I {} file {} ``` 'P'选项指定并发的进程数量。上面的例子中,设置并发进程的数量为5,'{}'表示使用每个文件名作为参数。上面的命令会使用5个并发进程执行'file'命令。在这个例子中,每个进程会读取'find'命令输出的一部分文件列表并执行'file'命令。 4. 'parallel' 使用'parallel'命令可以方便地实现并发执行命令。'parallel'命令可以从标准输入或者文件中读取参数,并将这些参数传递给后面跟随的命令执行。例如,在Linux系统中可以使用'find'命令查找某个目录下的所有文件,并使用'parallel'命令并发执行'file'命令: ``` find /path/to/directory/ -type f | parallel file {} ``` '{}'表示使用每个文件名作为参数。上面的命令会使用默认的最大并发数执行'file'命令。 总的来说,以上几种方法都可以实现Shell脚本中的并发执行命令。需要注意的是,并发执行命令可能会导致资源竞争和错误的结果,因此在并发执行命令的时候需要仔细测试和调试,确保程序的正确性和可靠性。 ### 回答3: Shell脚本并发执行命令,通常需要使用多线程技术。多线程指的是同时执行多个线程,每个线程独立地执行一些任务。在Shell脚本中,可以通过使用Fork、Exec、Waitpid等系统调用来创建新的进程并执行命令,从而实现并发执行任务的目的。 在实际的应用中,常使用的多线程框架包括POSIX线程和Java多线程。POSIX线程是一种标准化的线程技术,可以实现多个线程同时运行。Java多线程则是Java语言中内置的线程库,使用起来更加方便快捷。 同时,在Shell脚本中,还可以使用command &或者使用nohup命令来实现并发执行命令。command &表示将命令后台运行,nohup则可以使命令在后台运行并且不会受到用户退出终端的影响。 需要注意的是,在并发执行命令时,需要注意对共享资源的并发访问。为了避免竞争条件和死锁等问题,应使用线程同步机制,如锁和信号量等,来确保线程之间访问共享资源的安全性。 另外,对于一些需要并发执行的任务,可以考虑分割任务,将大任务拆分成多个小任务,再进行并发执行。这样可以提高执行效率,也可以减少并发访问共享资源的冲突。 总之,Shell脚本并发执行命令是一项比较复杂的任务,需要使用多线程技术、同步机制以及任务分割等方法来实现。同时,也需要根据不同场景选择适当的并发执行方法,以保证程序的正确性和效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值