Linux shell多进程并发及管道阻塞处理

在linux平台上，shell脚本进行多进程并发处理是常见的操作，尤其是在需要并行处理大量数据的时候。
然而在编码执行过程中遇到了一些问题，记录于下。

1. 并发控制

       网上搜索能找到一些并发控制方法，如一、linux shell多进程以及二、Linux Shell多进程并发以及并发数控制。

       两篇文章的方法思路一致，仅在实现细节上有差异。其中，文章一的方法在加锁处理进程安全方面更好，文章二在背景知识和代码解读方面更清晰，可以搭配理解。

       在文章一方法基础上，代码初步实现如下：

 #! /bin/bash
 
input_dir=$1
#开始时间戳
time_start=`date +%s`
# 创建队列和锁
mkfifo list
mkfifo lock
# 插入数据不阻塞
exec 3<>list
exec 4<>lock

for file in `ls $input_dir`
do 
	if [ "${file##*.}"x == "wav"x ]; then
		# 主进程发布任务到队列
		echo $input_dir"/"$file > &3
	fi
done
# 释放锁
echo >&4

# 开启10个进程
threads=10
for ((i=0; i<${threads}; i++)); do
{
        # 获取锁
        while read -t 1 -u 4 && read -t 1 -u 3 file; do
            # 释放锁
            echo >&4

            # 任务代码
            #handle $file
        done
} &
done
wait
# 关闭队列和文件描述符
exec 3>&-
exec 4>&-
rm -rf list
rm -rf lock
#结束时间戳
time_end=`date +%s`
interval=`expr $time_end - $time_start`
echo "time cost: $interval seconds"

       该段代码执行的功能是，开启10个进程，将输入目录下的所有wav文件进行并发处理。在目录下文件数量较少时，这段代码执行没有问题。然而在文件数超过数千个时，程序出现阻塞。调试发现，程序在主进程发布任务到队列时即出现阻塞。

       原来，管道fifo的缓存容量是有限的，在Linux 2.6+平台，这个容量为65,536字节。而代码中过量的文件名输入管道list，导致了程序阻塞。

2. 解决方案

       首先，自然想到的一个方法是，增大系统管道的默认容量。搜索到这篇文章 How to view and increase the default pipe buffer size in Linux。然而其修改方法只能在python进程中生效，对我们的shell脚本没有影响。

       所以想到通过临时文件作为队列，来读写任务，同时结合1中的两篇文章方法，代码实现如下：

 #! /bin/bash
 
input_dir=$1
#开始时间戳
time_start=`date +%s`
# 创建锁
mkfifo lock
# 文件描述符与fifo绑定
exec 4<>lock

tmp_file="tmp"
for file in `ls $input_dir`
do 
	if [ "${file##*.}"x == "wav"x ]; then
		# 主进程发布任务到临时文件
		echo $input_dir"/"$file >> ${tmp_file}
	fi
done

# 释放10个锁，对应10个进程
threads=10
for ((i=0; i<${threads}; i++)); do
{
	echo >&4
}
#遍历文件
while read file
do
{
		# 获取锁
        read -t 1 -u 4
        {
            # 任务代码
            #handle $file
            # 释放锁，注意顺序区别
            echo >&4
        }&
} 
done < ${tmp_file}
wait
# 关闭文件描述符
exec 4>&-
exec 4<&-
rm -rf lock
rm ${tmp_file}
#结束时间戳
time_end=`date +%s`
interval=`expr $time_end - $time_start`
echo "time cost: $interval seconds"

三. 小结

       现在我们能够针对任意数量的任务来进行并发处理了。如果有其他好用的方法也希望能互相交流 😃