在一个Shell脚本中同时执行多个脚本

最新推荐文章于 2025-03-10 19:26:30 发布

原创最新推荐文章于 2025-03-10 19:26:30 发布 · 2.3k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文讲述了用户在不同终端中使用Python启动Gearmanworker时遇到的问题，包括文件路径错误和顺序执行脚本。文章提供了解决方案，包括使用GNUParallel、&运算符和nohup命令进行并行执行。

通常，人们在不同的终端中使用python命令启动两个不同的gearman worker，在这些gearman worker准备就绪后，执行客户端文件向两个侦听worker发送请求。人们尝试将这三个命令都放在shellscript中并一次执行它们，但无法实现。下面是尝试过的不同方法以及遇到的问题：
在这里插入图片描述

（1）将所有命令放在一个shell脚本中：

#!/bin/sh
python /root/Desktop/karim/temp_git/ATD_final/ATD_allClass/classifier_allClass.py
python /root/Desktop/karim/temp_git/ATD_final/ATD_lessClass/classifier_lessClass.py
python ans_type.py 1

遇到问题：

folders = [f for f in sorted(listdir(container_path))
OSError: [Errno 2] No such file or directory: '/root/Desktop/karim/temp_git/ATD_final/ATD_pylink/trec_data'

（2）将python命令放在同一个目录中的.sh文件中，然后执行shell脚本：

allClass.sh：

#!/bin/sh
python /root/Desktop/karim/temp_git/ATD_final/ATD_allClass/classifier_allClass.py

lessClass.sh

python /root/Desktop/karim/temp_git/ATD_final/ATD_lessClass/classifier_lessClass.py

final.sh:

#!/bin/sh
sh /root/Desktop/karim/temp_git/ATD_final/ATD_allClass/allClass.sh
sh /root/Desktop/karim/temp_git/ATD_final/ATD_lessClass/less_lessClass.py
python ans_type.py 1

遇到问题：

sh: 0: Can't open /root/Desktop/karim/temp_git/ATD_final/ATD_allClass/allClass.sh
link-grammar: Info: Dictionary found at /usr/share/link-grammar/en/4.0.dict
Traceback (most recent call last):

解决方案

为了解决上述问题，可以采用以下解决方案：

（1）使用并行处理库（如GNU Parallel）来并行执行脚本。GNU Parallel是一个用于并行执行命令的命令行工具，它可以很容易地将多个命令放在一起并行执行。

（2）使用shell内置的"&“运算符来并行执行脚本。”&"运算符可以将命令放在后台执行，这样就可以同时执行多个命令。

（3）使用shell的"nohup"命令来并行执行脚本。"nohup"命令可以将命令放在后台执行，即使终端关闭也不会中断命令的执行。

下面是一个使用GNU Parallel并行执行脚本的示例：

parallel -j 2 python /root/Desktop/karim/temp_git/ATD_final/ATD_allClass/classifier_allClass.py ::: 1 2 3

这条命令将并行执行三个python脚本，每个脚本都使用不同的参数。

下面是一个使用shell内置的"&"运算符并行执行脚本的示例：

python /root/Desktop/karim/temp_git/ATD_final/ATD_allClass/classifier_allClass.py &
python /root/Desktop/karim/temp_git/ATD_final/ATD_lessClass/classifier_lessClass.py &
python ans_type.py 1 &

这条命令将并行执行三个python脚本，每个脚本都使用不同的参数。

下面是一个使用shell的"nohup"命令并行执行脚本的示例：

nohup python /root/Desktop/karim/temp_git/ATD_final/ATD_allClass/classifier_allClass.py &
nohup python /root/Desktop/karim/temp_git/ATD_final/ATD_lessClass/classifier_lessClass.py &
nohup python ans_type.py 1 &

这条命令将并行执行三个python脚本，每个脚本都使用不同的参数，即使终端关闭也不会中断命令的执行。

希望这些解决方案能够帮助人们并行执行多个脚本。