[置顶] [Linux]Linux Shell多进程并发以及并发数控制

11948人阅读 评论(4) 收藏 举报
分类:

1. 基础知识准备

1.1. linux后台进程

Unix是一个多任务系统,允许多用户同时运行多个程序。shell的元字符&提供了在后台运行不需要键盘输入的程序的方法。输入命令后,其后紧跟&字符,该命令就会被送往到linux后台执行,而终端又可以继续输入下一个命令了。
比如:

sh a.sh &
sh b.sh &
sh c.sh &

这三个命令就会被同时送往linux后台执行,在这个程度上,认为这三个命令并发执行了。

1.2. linux文件描述符

文件描述符(缩写fd)在形式上是一个非负整数。实际上,它是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。每一个unix进程,都会拥有三个标准的文件描述符,来对应三种不同的流:

文件描述符 名称
0 Standard Input
1 Standard Output
2 Standard Error

每一个文件描述符会对应一个打开文件,同时,不同的文件描述符也可以对应同一个打开文件;同一个文件可以被不同的进程打开,也可以被同一个进程多次打开。

/proc/PID/fd中,列举了进程PID所拥有的文件描述符,例如

#!/bin/bash
source /etc/profile;

# $$表示当前进程的PID
PID=$$

# 查看当前进程的文件描述符指向
ll /proc/$PID/fd
echo "-------------------";echo

# 文件描述符1与文件tempfd1进行绑定
( [ -e ./tempfd1 ] || touch ./tempfd1 ) && exec 1<>./tempfd1

# 查看当前进程的文件描述符指向
ll /proc/$PID/fd
echo "-------------------";echo;
[ouyangyewei@localhost learn_linux]$ sh learn_redirect.sh 
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------

[ouyangyewei@localhost learn_linux]$ cat tempfd1 
total 0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 0 -> /dev/pts/0
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 1 -> /home/ouyangyewei/workspace/learn_linux/tempfd1
lrwx------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 2 -> /dev/pts/0
lr-x------. 1 ouyangyewei ouyangyewei 64 Jan  4 22:17 255 -> /home/ouyangyewei/workspace/learn_linux/learn_redirect.sh
-------------------

上述的例子中第12行,将文件描述符1与文件tempfile进行了绑定,此后,文件描述符1指向了tempfile文件,标准输出被重定向到了文件tempfile中。

1.3. linux管道

在Unix或类Unix操作系统中,管道是一个由标准输入输出链接起来的进程集合,因此,每一个进程的输出将直接作为下一个进程的输入,

linux管道包含两种:

  • 匿名管道
  • 命名管道

管道有一个特点,如果管道中没有数据,那么取管道数据的操作就会滞留,直到管道内进入数据,然后读出后才会终止这一操作;同理,写入管道的操作如果没有读取管道的操作,这一动作就会滞留。

1.3.1. 匿名管道

在Unix或类Unix操作系统的命令行中,匿名管道使用ASCII中垂直线|作为匿名管道符,匿名管道的两端是两个普通的,匿名的,打开的文件描述符:一个只读端和一个只写端,这就让其它进程无法连接到该匿名管道。

例如:

cat file | less

为了执行上面的指令,Shell创建了两个进程来分别执行catless。下图展示了这两个进程是如何使用管道的:
unix_unnamed_pipe
有一点值得注意的是两个进程都连接到了管道上,这样写入进程cat就将其标准输出(文件描述符为fd 1)连接到了管道的写入端,读取进程less就将其标准输入(文件描述符为fd 0)连接到了管道的读入端。实际上,这两个进程并不知道管道的存在,它们只是从标准文件描述符中读取数据和写入数据。shell必须要完成相关的工作。

1.3.2. 命名管道(FIFO,First In First Out)

命名管道也称FIFO,从语义上来讲,FIFO其实与匿名管道类似,但值得注意:

  • 在文件系统中,FIFO拥有名称,并且是以设备特俗文件的形式存在的;
  • 任何进程都可以通过FIFO共享数据;
  • 除非FIFO两端同时有读与写的进程,否则FIFO的数据流通将会阻塞;
  • 匿名管道是由shell自动创建的,存在于内核中;而FIFO则是由程序创建的(比如mkfifo命令),存在于文件系统中;
  • 匿名管道是单向的字节流,而FIFO则是双向的字节流;

比如,可以利用FIFO实现单服务器、多客户端的应用程序:
unix_named_pipe


有了上面的知识准备,现在可以开始讲述,linux多进程并发时,如何控制每次并发的进程数。

2. linux多进程并发数控制

最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:
* 如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天
* 如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!

既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。

#! /bin/bash
source /etc/profile;

# -----------------------------

tempfifo=$$.fifo        # $$表示当前执行文件的PID
begin_date=$1           # 开始时间
end_date=$2             # 结束时间

if [ $# -eq 2 ] 
then
    if [ "$begin_date" \> "$end_date" ]
    then
        echo "Error! $begin_date is greater than $end_date"
        exit 1;
    fi
else
    echo "Error! Not enough params."
    echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
    exit 2;
fi

# -----------------------------

trap "exec 1000>&-;exec 1000<&-;exit 0" 2
mkfifo $tempfifo
exec 1000<>$tempfifo
rm -rf $tempfifo

for ((i=1; i<=8; i++))
do
    echo >&1000
done

while [ $begin_date != $end_date ]
do
    read -u1000
    {
        echo $begin_date
        hive -f kpi_report.sql --hivevar date=$begin_date
        echo >&1000
    } &

    begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done

wait
echo "done!!!!!!!!!!"
  • 第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01
    • $1表示脚本入参的第一个参数,等于2015-01-01
    • $2表示脚本入参的第二个参数,等于2015-12-01
    • $#表示脚本入参的个数,等于2
    • 第13行用于比较传入的两个日期的大小,\>是转义
  • 第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出
    • exec 1000>&-;表示关闭文件描述符1000的写
    • exec 1000<&-;表示关闭文件描述符1000的读
    • trap是捕获中断命令
  • 第27~29行:
    • 第27行,创建一个管道文件
    • 第28行,将文件描述符1000与FIFO进行绑定,<读的绑定,>写的绑定,<>则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作
    • 第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题
  • 第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的
  • 第37~42行:
    • 第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行
    • 第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行
    • 第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。

3. 参考资料

查看评论

bash shell实现并发多进程操作

前言 目前我掌握的基本语言,php(最为熟悉,项目里代码都是用其实现),bash shell(运维利器),c(acm专用),这里面能实现多线程的貌似只有c,但是我c只是用来学习和实现算法和数据结构,...
  • zinss26914
  • zinss26914
  • 2013-04-16 22:01:43
  • 16320

Shell 实现多任务并发

实现思路 实现一个shell进程库,通过类似于init,run,wait几个简单的命令,就可以迅速实现多进程并发,伪码如下: process_init # 创建进程for city i...
  • spch2008
  • spch2008
  • 2016-05-17 09:02:00
  • 7057

Linux-Shell-使用mkfifo实现多任务并发及并发数控制

默认的情况下,Shell脚本中的命令是串行执行的,必须等到前一条命令执行完后才执行接下来的命令,但是如果我有一大批的的命令需要执行,而且互相又没有影响的情况下(有影响的话就比较复杂了),那么就要使用命...
  • qq_34409701
  • qq_34409701
  • 2016-09-09 17:09:20
  • 4246

shell中的多进程【并发】

根据我个人的理解, 所谓的多进程 只不过是将多个任务放到后台执行而已,很多人都用到过,所以现在讲的主要是控制,而不是实现。 先看一个小shell:   看执行结果:   很明显是8s...
  • u013694670
  • u013694670
  • 2017-03-28 23:19:47
  • 1830

[Linux]shell多进程并发—详细版

linux多进程并发,详细讲解优化shell执行顺序的方案,结论
  • yeweiouyang
  • yeweiouyang
  • 2015-05-12 21:20:29
  • 3130

linux shell命名管道FIFO(多进程动态并发)

在shell脚本中,我们想要实现多进程高并发,最简单的方法是把命令丢到后台去,如果量不大的话,没问题。 但是如果有几百个进程同一时间丢到后台去就很恐怖了,对于服务器资源的消耗非常大,甚至导致宕机。那有...
  • qq_32642039
  • qq_32642039
  • 2017-11-24 14:19:43
  • 402

Linux下模拟多线程的并发并发shell脚本

转载网址:http://www.centoscn.com/shell/2013/0731/823.html
  • a2011480169
  • a2011480169
  • 2017-04-18 17:23:28
  • 893

bash命令之linux下并发运行任务

需求:     在centos服务器上需要并行运行多个完全独立的任务。通过判断任务的pid是否存在来确定任务是否结束。 由于bash是顺序执行任务的,执行完一个任务才执行下一个。 要实现并行执行,...
  • sepnineth
  • sepnineth
  • 2017-03-24 18:00:44
  • 468

linux shell多进程

ls
  • scorpion_zs
  • scorpion_zs
  • 2016-11-11 14:06:42
  • 427

shell文件中,多进程运行

一直苦恼一个问题:shell编程中,当一个任务完成时,接下来可以同时有两个任务可以运行,这两个任务互不影响。所以想当第一个任务完成后,同时启动后面的两个任务,不知到shell中如何同时启动。 ...
  • stormbjm
  • stormbjm
  • 2014-02-12 01:22:36
  • 2187
    个人资料
    专栏达人 持之以恒
    等级:
    访问量: 45万+
    积分: 6175
    排名: 5034
    第三方账号
    博客专栏