linux 多线程 读文件,Shell中实现“多线程”执行脚本文件完美解决方案

即比如我有100个可执行文件,互相间没有特别的先后执行关系,如CODE:

job_1

job_2

job_2

.....

job_100

想用csh/bash来多线程调用执行。

比如一次开5个线程,那么job_1,2,3,4,5一起先开始,那么其中任何一个线程如果先执行完成,则继续执行下一个没有初执行过的文件,如job_6,7,8....,这样一直以所指定的线程数来执行所有100个文件。

我本来想用 "&" 来放入后台,可是这样我一次可以指定5放入后台,但是无法知道其中任何一个程序何时执行完毕,所以也无法继续执行下一个程序啊!

完美解决方案:

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; cat job_1

#!/bin/bash

n=$((RANDOM % 5 + 1))

echo "$0 sleeping for $n seconds ..."

sleep $n

echo "$0 exiting ..."

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; for ((i = 2; i <= 10; ++i)); do cp job_1 job_$i; done

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; cat jobs.sh

#!/bin/bash

nParellel=5

nJobs=10

sJobPattern='./job_%d'

aJobs=()

sNextJob=

for ((iNextJob = 1; iNextJob <= nJobs; )); do

for ((iJob = 0; iJob < nParellel; ++iJob)); do

if [ $iNextJob -gt $nJobs ]; then

break;

fi

if [ ! "${aJobs[iJob]}" ] || ! kill -0 ${aJobs[iJob]} 2> /dev/null; then

printf -v sNextJob "$sJobPattern" $((iNextJob++))

echo "$sNextJob starting ..."

$sNextJob &

aJobs[iJob]=$!

fi

done

sleep .1

done

wait

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; ./jobs.sh

./job_1 starting ...

./job_1 sleeping for 3 seconds ...

./job_2 starting ...

./job_2 sleeping for 2 seconds ...

./job_3 starting ...

./job_3 sleeping for 5 seconds ...

./job_4 starting ...

./job_5 starting ...

./job_4 sleeping for 4 seconds ...

./job_5 sleeping for 2 seconds ...

./job_2 exiting ...

./job_6 starting ...

./job_6 sleeping for 2 seconds ...

./job_5 exiting ...

./job_7 starting ...

./job_7 sleeping for 1 seconds ...

./job_1 exiting ...

./job_8 starting ...

./job_8 sleeping for 3 seconds ...

./job_7 exiting ...

./job_9 starting ...

./job_9 sleeping for 5 seconds ...

./job_4 exiting ...

./job_6 exiting ...

./job_10 starting ...

./job_10 sleeping for 5 seconds ...

./job_3 exiting ...

./job_8 exiting ...

./job_9 exiting ...

./job_10 exiting ...

-(dearvoid@LinuxEden:Forum)-(~/tmp)-

[$$=6718 $?=0] ; bye

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
你可以使用 Linux shell 的 `rsync` 命令来实现多线程复制文件脚本。`rsync` 是一个功能强大的文件复制工具,支持多线程复制和增量复制。 以下是一个简单的示例脚本,可以在 Linux shell 运行: ```shell #!/bin/bash # 源文件目录 source_dir="/path/to/source" # 目标文件目录 target_dir="/path/to/target" # 并发线程数 threads=4 # 复制文件 rsync -r --progress --human-readable --stats --partial --info=progress2 --inplace --files-from=<(cd $source_dir && find . -type f) $source_dir $target_dir --parallel=$threads ``` 在脚本,你需要修改 `source_dir` 和 `target_dir` 变量为你实际的源文件目录和目标文件目录。同时,你可以根据需要调整并发线程数 `threads`。 脚本使用了 `rsync` 命令的多个参数,具体含义如下: - `-r`:递归复制文件夹及其内容。 - `--progress`:显示复制进度。 - `--human-readable`:以人类可的方式显示进度。 - `--stats`:显示复制统计信息。 - `--partial`:支持断点续传。 - `--info=progress2`:显示更详细的进度信息。 - `--inplace`:直接在目标位置进行修改,而不是创建临时文件。 - `--files-from=<(cd $source_dir && find . -type f)`:从源文件目录文件列表复制文件。 - `$source_dir` 和 `$target_dir`:源文件目录和目标文件目录。 - `--parallel=$threads`:指定并发线程数。 请注意,`rsync` 命令在复制过程会自动检测已复制的文件,只复制有变化的部分,以实现增量复制。 希望这个示例能帮助到你!如果有任何问题,请随时提问。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值