shell并发执行命令

最新推荐文章于 2024-09-19 13:43:57 发布

json0227

最新推荐文章于 2024-09-19 13:43:57 发布

阅读量633

点赞数

文章标签： shell

本文链接：https://blog.csdn.net/json0227/article/details/111308183

版权

shell并发执行：

1、通过后台执行，无法控制并行度。

for j in $cut_path/*;
do
  {
    echo $j  
    awk  -F "|" '{print substr($1,1,3)"|"substr($2,1,15)' $j  >$j".txt"
  } &
done
wait

2、xargs 可以控制并行度

for i in $week_path/'csv_'$day/*
 do
  echo $i
  p=`echo $i | awk -F "/" '{print $7}'`
  echo 'provCode:'$p
  find $i -name "*.csv" | cut -c59-85 | xargs -P 3 -i zip -qj $week_path/'test_zip_'$day/{}'.zip' $i/{}'.csv'  
done

多命令情况

find /root/test_data -name "user*" | xargs -P 3 -i sh -c -x "awk  -F ""\|"" '{print substr(\$1,1,15) ""\"|\""" substr(\$2,1,15)}' {} >{}.txt"

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

json0227

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【Shell-多并发】使用Shell脚本在循环中进行多并发的操作

weixin_53543905的博客

06-27

2422

如果按照这段脚本，发现情况并不是这样的，因为 for 循环不会等待 sleep 命令执行结束后才结束，而是把命令提交给系统后自己就退出了，进而还没有1个 sleep 执行完毕之前，“all weakup” 就已经打印了。就相当于此时有10个开水房间，配有10把钥匙，此时有100个人要打开水，那么前10个人抢到钥匙，就先进去打开水，后面的90个人就需要等前面一个人出来后还回钥匙，在拿着钥匙进去打开水，这样就能控制100个人打开水的任务，同时不会将系统的资源一次性耗用太多，增加压力，减小处理速度。

Shell并发编程实例

Neko的博客

03-19

225

#!/bin/bash # 这里定义变量 # 这里定义函数 task (){ echo $LINE |awk '{print $1}' sleep 2 } # 下面是定义每次开始的线程数，你可以以自己修改这个数, # 不可以太多,太多，机器就挂了 num=$1 # 下面这段不用动 mkfifo testfifo # 创建命名管道文件 exec 7<>testfifo # 给命名管道起个文件描述符 rm -rf testfifo # 删除这个命名管道文件，但是管道依然存

参与评论您还未登录，请先登录后发表或查看评论

Shell 并发分组执行命令

04-04

Shell脚本，并发分组执行命令，如并发发送HTTP请求：发送注册请求共计10个，分2组，每组5条。

shell实现并发

最新发布

u012108607的博客

09-19

479

在 Shell 脚本中实现并发执行有几种常见的方法。

Linux下shell并发执行

u010851474的专栏

08-10

713

#!/bin/bash SEND_THREAD_NUM=30 function Run() { tmp_fifofile="/tmp/$$.fifo" mkfifo "$tmp_fifofile" exec 6<>"$tmp_fifofile" for((i=0; i < $SEND_THREAD_NUM; i++)); do echo

如何在 shell 中实现并行执行

琦彦

05-21

2万+

如何在 shell 中实现并行执行今天，有个同事问我，他的 shell 中要执行一个迭代200次的循环，因为每一次循环都需要消耗一定的时间，执行起来比较慢，问我可不可以改成并行执行，循环一次执行10个任务，循环20次来完成所有的任务。什么是并行？并行，是一种常见的任务执行过程模式，指可以同时执行两个或多个程序，与之相对的则是串行。还应该注意，并行不是并发，两者之间是有明显区别的，有些开发者经常搞混。并发是指服务系统支持两个或多个任务同时存在，同时存在并不意味着同时执行，因为服务系统单位时间上只执行一个任

shell脚本并发执行

感谢你的关注~~~~ღ( ´･ᴗ･` )

03-30

200

#!/bin/bash your_func() { # use your cmd or func instead of sleep here. don't end with background(&) date +%s echo "scp HOSTNAME:/home/USER/path/from/file.$1 REMOTE_HOST:/home/USER/path...

shell脚本并发执行命令

06-28

你可以使用以下几种方法在 shell 脚本中并发执行命令： 1. 使用 & 符号：在命令后面加上 &，表示在后台运行该命令。例如： ``` command1 & command2 & ``` 2. 使用 nohup 命令：nohup 命令可以在后台运行命令，...

python实现多线程的方式及多条命令并发执行

09-21

本文将详细探讨Python如何实现多线程以及如何并发执行多条命令。首先，我们需要了解线程的概念。线程是程序中的执行流，每个线程都有自己的独立堆栈，可以并行执行不同的任务。在Python中，有多种方式创建线程。...

shell 并发示例

qq_46027484的博客

03-19

174

shell 并发示例 #!/bin/bash # 这里定义变量 # 这里定义函数 task (){ echo $LINE |awk '{print $1}' sleep 2 } # 下面是定义每次开始的线程数，你可以以自己修改这个数, # 不可以太多,太多，机器就挂了 num=$1 # 下面这段不用动 mkfifo testfifo # 创建命名管道文件 exec 7<>testfifo # 给命名管道起个文件描述符 rm -rf testfifo # 删除这个命名管

shell 并行运行脚本

07-27

通过循环、队列、fifo文件，实现shell并行任务运行的脚本，测试环境为CentOS7

[Linux]Linux Shell多进程并发以及并发数控制

热门推荐

个人技术博客

09-12

2万+

Unix是一个多任务系统，允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后，其后紧跟&字符，该命令就会被送往到linux后台执行，而终端又可以继续输入下一个命令了。

Shell脚本中的并发（1）

feixiaohuijava的博客

11-22

550

转载来自：http://blog.csdn.net/wangtaoking1/article/details/9838571主要记录一下Shell脚本中的命令的并发和串行执行。默认的情况下，Shell脚本中的命令是串行执行的，必须等到前一条命令执行完后才执行接下来的命令，但是如果我有一大批的的命令需要执行，而且互相又没有影响的情况下（有影响的话就比较复杂了），那么就要使用命令的并发执行了。看

eval并发 shell_shell 并发执行任务

weixin_35846141的博客

01-14

119

#!/bin/bash# ref: https://blog.csdn.net/spch2008/article/details/51433353token(){pid=$1# 判断是否有传入pidif [ -z "${pid}"]thenecho "please input pid"exit1fi# 设置并发数，默认为5concurrency=5if [ -n "$2"]thenconcurre...

shell脚本中的多进程并发执行命令，使执行时间大大缩短

a13568hki的博客

12-28

1792

1、shell脚本多进程并发，简单来讲就是把命令放在后代执行例如 vim djc.sh #|/bin/bash start=`date +%s` for((i=1;i<=10;i++)) do echo success;sleep 5 & #放在后台同时执行 done wait #等待以上命令执行完成，在执行后面的命令，需要等待5秒 end=`date +%s...

linux shell并发执行命令

weixin_30409849的博客

04-13

699

一般我们在linux上十一shell命令的批量执行操作，一般使用for或者while 循环进行操作,但是这样有一个问题，for或者while本质上是串行的，并不能,如果某一个命令执行耗费的时间比较长，就会等待很长的时间，很浪费时间; 将被执行的命令运行为后台执行，可以实现并发执行多条命令; for ((i=0;i<10;i++));do echo "done ";done &...

shell脚本多任务并发执行介绍（ping批量检测主机是否在线脚本）

崔崇鑫的博客，你linux/云运维工作中的百科全书。

09-04

4860

文章目录说明非并发原理并发原理以ping某段主机是否在线对并发进行说明普通脚本说明非并发原理一般脚本正常情况下执行过程是按顺序执行的，简单来说就是上一个执行完毕了才会进行下一个；代码和执行结果如下： [root@controller ccx]# cat ping.sh for i in {1..10} ; do echo $i sleep 1 done echo "END" [root@controller ccx]# [root@controller cc

shell脚本实现程序并发执行

SZU_黄其才

03-14

4155

shell脚本实现程序并发执行循环实现并发程序：并发的实现原理是将进程放到后台运行，从而不影响当前shell的运行。在shell脚本中有&符号可以实现这个操作。 # !/usr/bin/bash echo "hello multiprocess" for ((i=0; i<10; i++)); do { echo $i sleep 2s }& # 在程序后面加上&表示命令在后台执行 done wait # 等待子进程结束 echo "run end