bash并行编程

最新推荐文章于 2024-04-02 15:42:22 发布

EmbeddedGuru

最新推荐文章于 2024-04-02 15:42:22 发布

阅读量613

点赞数

分类专栏： Shell 文章标签： bash linux parallel 并行

欢迎转载，多多益善！

本文链接：https://blog.csdn.net/suz_cheney/article/details/122157714

版权

Shell 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

本文探讨了两种在Bash脚本中实现并行任务的方法，包括使用子进程和管道结合FIFO，以及利用`xargs`和`-P`选项。通过实例展示了如何设置最大进程数，管理和同步多个工作流程，适合提高脚本执行效率。

摘要由CSDN通过智能技术生成

第一种：

#!/bin/bash
set -ex

function work()
{
	echo work $1 starting...
	sleep 2
	echo work $1 done
}

function parallel_init()
{
	maxpro=$1
	tmpfifo=/tmp/$$.fifo
	[[ -e ${tmpfifo} ]] && rm -rf ${tmpfifo}

	mkfifo ${tmpfifo}
	exec 16<>${tmpfifo}
	rm -rf ${tmpfifo}

	for i in $(seq 1 ${max_process})
	do
		printf %s 000
	done >&16
}

max_process=4
parallel_init $max_process
pids=()

for i in {1..4}
do
	read -u 16 -n 3 x && ((0==x)) || exit $x
	(
		work $i;
		printf "%.3d" $? >&16
	) &
	pids+=($!);
done

wait ${pids[@]}

第二种：

#!/bin/bash
set -e

function work()
{
	echo work $1 starting...
	sleep 2
	echo work $1 done
}

export -f work
max_process=2
seq 1 4 | xargs -n 1 -I {} -P ${max_process} bash -c "work {}"

参考：
https://gist.github.com/mjambon/79adfc5cf6b11252e78b75df50793f24
https://gist.github.com/Enteee/c8c11d46a95568be4d331ba58a702b62
https://newbedev.com/parallelize-a-bash-for-loop
https://blog.51cto.com/vaedit/2519334
https://github.com/BG2BKK/githubio/blob/master/content/post/shell%E5%A4%9A%E7%BA%BF%E7%A8%8B%E5%AE%9E%E8%B7%B5.md