Shell_并发编程示例

一、关于下面脚本中出现的命名管道的知识点，请自修

#!/bin/bash 

# 这里定义变量

# 这里定义函数

# 下面是定义每次开始的线程数，你可以以自己修改这个数,
# 不可以太多,太多，机器就挂了
num=5

# 下面这段不用动
mkfifo testfifo  # 创建命名管道文件
exec 7<>testfifo   # 给命名管道起个文件描述符
rm -rf testfifo   # 删除这个命名管道文件，但是管道依然存在，可以使用文件描述符 7 进行使用。

for  i in $(seq 1 ${num})  # 向这个管道中输入相应数据的空行
do
    echo >&7  # 每一行就是一次并发
done

# 在这里写自己的循环体, 循环体可以根据自己写代码进行必要的更改，里面有的是不能变的。
while read LINE
do
    read -u7 # 这个不能变

    # 下面这段是把每次的循环体放到后台，之后紧接着进行下次的循环任务，就实现了并发
    {  # 这个不能变
        # 在这里写自己的代码
       echo $LINE |awk '{print $3}' 
        sleep 2        
       # 执行的代码结束，下面不用动
        echo >&7
    }&  # 这个不能变，
done < $1 
### 循环体结束

wait  # 这个不能变， 就是等待上面的所有后台进程结束
exec 7>&-  # 这个不能变，
echo "任务执行完毕"

二、示例

1. 测试脚本一

1.1 优化前

vi runtime.sh

#脚本写下以下内容

#!/bin/bash
startdate=$(date +%s)
function date1 () {
sleep 5
}
date1
function date2 () {
sleep 7
}
date2
stopdate=$(date +%s)
totaldate=$(( $stopdate - $startdate ))
echo "Total time is ${totaldate}s."

说明：代码段date1和date2并无关联，date1执行时间需要5秒，date2执行时间需要7秒。

运行脚本：

总运行时长为12秒，因为代码是依次执行，所以总时长是所有代码段运行时间之和。

1.2 优化后

对于shell脚本中多条命令的输出结果并无关联，即可使用并行执行。

vi runtime.sh

#将脚本内容修改为以下内容

#!/bin/bash
startdate=$(date +%s)
function date1 () {
sleep 5
}
date1 &
function date2 () {
sleep 7
}
date2 &
wait
stopdate=$(date +%s)
totaldate=$(( $stopdate - $startdate ))
echo "Total time is ${totaldate}s."

在执行代码段时增加"&"符号表示放到后台执行，无需等待执行结果，继续执行后面代码；

重点是wait命令，表示等待wait之前的代码执行完毕后，再执行wait之后的代码。

运行脚本：

总运行时长为7秒，并行执行时，执行总时长等于执行时长最长的代码段耗时。

2. 与for循环结合

可以压缩结果输出时间，但要注意for中数值数量，以及处理的数据量，会瞬间产生许多的子进程，很大可能造成系统崩溃。

2.1 优化前

vi runtime_for.sh

#脚本中写入以下内容

#!/bin/bash
startdate=$(date +%s)
function timetest () {
for i in $(seq 10)
do
sleep 1
done
}
timetest
wait
stopdate=$(date +%s)
totaldate=$(( $stopdate - $startdate ))
echo "Total time is ${totaldate}s."

在for循环中打印10个数值，每打印一个数值等待1秒。

运行脚本：

总运行时长为10秒。

2.2 优化后

vi runtime_for.sh

#将脚本内容修改为以下

#!/bin/bash
startdate=$(date +%s)
function timetest () {
for i in $(seq 10)
do
{
sleep 1
} &
done
}
timetest
wait
stopdate=$(date +%s)
totaldate=$(( $stopdate - $startdate ))
echo "Total time is ${totaldate}s."

在for循环中伤脑筋大括号{}，括号内可以执行多个代码段。

运行脚本：

总运行时长为1秒。

3. 总结

在shell脚本使用"&"使代码段可以并执行，这样在很大程度上减少了脚本的运行时长。

也可以在for中利用并行执行，减少执行时间。但需要注意的是，我设置"seq 100000"后发现，服务器其中一个CPU使用率到达100%但其他CPU还是空闲的，在8核心的虚拟机上运行，花费时间为341秒。没有做任何限制的话，会以最大能力将结果计算出来。