shell并行工具parallel

简介：GNU parallel是一种shell工具，用于使用一台或多台计算机并行执行作业。作业可以是单个命令，也可以是必须为其运行的小脚本输入中的每一行。典型的输入是文件列表、主机列表、用户列表、URL列表或表列表。工作也可以从管道中读取的命令。然后GNU并行可以将输入拆分为多个块，并将一个块并行的管道传输到每个命令中。

历史攻略：

Python：极简、实用、通用性极高的单终端并发测试脚本

非局域网+服务端selenium-grid + docker内运行+pycharm-ssh远程代码+asyncio并发多个浏览器

安装：

sudo apt install parallel   # version 20161222-1.1

基本格式：

parallel [options] [command [arguments]] < list_of_arguments

使用案例：

$ parallel echo {} $(date) ::: {1..3}
1 Sat 27 Apr 2024 06:52:54 PM CST
2 Sat 27 Apr 2024 06:52:54 PM CST
3 Sat 27 Apr 2024 06:52:54 PM CST

# 并行处理多个文件：很多需要相同操作的文件，可以使用 parallel 并行处理它们，提高处理速度。
ls *.txt | parallel 'process_file {}'


# 并行下载文件：需要下载大量文件，可以使用 parallel 并行下载以提高下载速度。
cat urls.txt | parallel 'wget {}'


# 并行压缩文件：大量需要压缩的文件，可以使用 parallel 并行执行压缩任务。
ls *.log | parallel 'gzip {}'


# 并行执行测试任务：如果有一系列测试任务需要执行，可以使用 parallel 并行执行它们，节省时间。
cat test_cases.txt | parallel 'run_test {}'


# 并行处理数据：在数据处理任务中，例如文本处理或图像处理，您可以使用 parallel 并行处理数据，加快处理速度。
cat data.txt | parallel 'process_data {}'

小结：parallel 在各种场景中都可以发挥作用，只要有需要同时执行多个任务的情况。