shell 模拟oracle并发,Shell-使用mkfifo实现多任务并发及并发数控制

以下为代码实现的一个模拟场景：

3个生产者，在不断提供服务，处理需求，假设1s处理一个。

20个消费者，在不断消耗供给产品，提交需求，假设3s消耗一个。

情景分析：由于消费者的提交需求能力 和 生产者处理需求的能力 不对等，于是出现了供不应求的供销矛盾。

问题：一般情况下，在供不应求时，会有大量的需求被挂起，也就是排队，排队期间消费者不得离开，否则当前所处的队列顺序就被后面的消费者替代。这样所有排队的消费者都无法干别的事，只能空等，类比操作系统中内存、计算单元等资源被空占，影响整体效率。

解决思路：通过队列来提前收取需求，类似于自动帮消费者记录排队顺序，这样等轮到自己时，再去执行。那么节省出来的等待时间，就可以去做别的事情，类比操作系统中资源释放。

#!/bin/bash

IPLIST=/home/meta/ipinfo/iplist #任务(消费者)

THREAD=50                              #声明并发线程并发个数，这个是此应用的关键，也就是设置管道的最大任务数

TMPFIFO=/tmp/$$.fifo               #声明管道名称，'$$'表示脚本当前运行的进程PID

mkfifo $TMPFIFO                      #创建管道

exec 5<>${TMPFIFO}               #创建文件标示符“5”，这个数字可以为除“0”、“1”、“2”之外的所有未声明过的字符， 以读写模式操作管道文件；系统调用exec是以新的进程去代替原来的进程，但进程的PID保持不变， 换句话说就是在调用进程内部执行一个可执行文件

rm -rf ${TMPFIFO}               #清除创建的管道文件

#为并发线程创建同样个数的占位

for((i=1;i<=$THREAD;i++))

do

echo ;     /*借用read命令一次读取一行的特性，使用一个echo默认输出一个换行符，来确保每一行只有一个线程占位；

这里让人联想到生产者&消费者模型，管道文件充当消息队列，来记录消费者的需求，然后由生产者去领任务，并完成任务，

这里运用了异步解耦的思想*/

done >&5

#将占位信息写入管道

for i in $(cat ${IPLIST} |grep -viE "^#|备机|ts"|awk '{print $1}')       #从任务队列中依次读取任务

do

read -u5        /*从文件描述符管道中，获取一个管道的线程占位然后开始执行操作；read中 -u 后面跟fd，表示从文件描述符中读入，

该文件描述符可以是exec新开启的*/

{

echo $(cat ~/ipinfo/iplist|grep $i|awk '{print $2}');

ssh -oConnectTimeout=10 -oConnectionAttempts=3 $i "cd /home/Log/;grep 'MIL' mission_2016-08-03*.log |awk -F, '{if(\$19==1370) print \$0}'|

awk -F, '{if(\$20==0) print \$0}'>miss_info.txt"

echo "" >&5    /*任务执行完后在fd5中写入一个占位符，以保证这个线程执行完后，线程继续保持占位，继而维持管道中永远是50个线程数，

&表示该部分命令/任务放入后台不占当前的bash，实现并行处理*/

} &

done

wait                #等待父进程的子进程都执行结束后再结束父进程

exec 5>&-           #关闭fd5的管道

exit 0

例子：

#!/bin/shthread=10tmp_fifofile="/tmp/$$.fifo"

mkfifo$tmp_fifofile

exec6<>$tmp_fifofilerm$tmp_fifofile

i=1

while(($i<=$thread))do

echolet i=i+1

done >&6

whileread list_prodotabnm=`echo${list_pro}`

read-u6

spooltime=`date +%c`

{echo ${tabnm} &&{sleep 1}echo >&6}&

done &-

list_pro.txt

[python@master tmp]$ morelist_pro.txt1

2

3

4

5

6

7

8

9

10

11

12

13

可以自己运行试试。。。

whileread tablenamedoftfilename=`echo ${tablename} | awk -F':' '{print $2}'`

fromsc=`echo ${tablename} | awk -F':' '{print $3}'`

fromtb=`echo ${tablename} | awk -F':' '{print $4}'`

tosc=`echo ${tablename} | awk -F':' '{print $5}'`

totb=`echo ${tablename} | awk -F':' '{print $6}'`

read-u6

spooltime=`date +%c`

#subjob start

{sh ${shell_path}/otoelk.sh ${ftfilename} ${dataDate} ${oracle} ${schema_id} ${fromsc} ${fromtb} ${tosc} ${totb} ${confile} ${shell_path} &&{sleep 1}||{echo "${oracle} to elk sub error"--出错的时候打印日志

}echo >&6}&

done < ${confile}