Shell多线程操作及线程数控制实例

转自http://www.jb51.net/article/51720.htm

前言

在业务开发过程中，经常会在后台写一些shell脚本处理数据，但估计很多人不知道shell脚本也可以支持多线程，而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

需求

为了更好的说明问题，我们结合例子讲解，假设需求就是扫描url.txt文件，然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL，如：

复制代码 代码如下:

http://www.baidu.com

http://www.google.com

http://www.jb51.net

单进程实现

那么shell脚本scanUrl.sh可以这样写：

复制代码 代码如下:

#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then  #$#表示参数的个数，不包括命令本身
        echo "The parameters you enter is not correct !";
        exit -1; #0为正常退出，非0为非正常退出

fi

#循环读出URL并判断状态码
while read line  #按行读取到line中
do
{

#curl命令获取http状态码
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`   #%{http_code}代表http状态码
    if [ "$isok" = "200" ]; then  # 
        echo $line "OK"
    else
        echo $line "no"
    fi
}
done < $1
echo "执行结束"

那么可以执行下面的命令扫描：

复制代码 代码如下:

/bin/sh scanUrl.sh url.txt

但这样脚本执行非常慢，一万个URL几个小时都扫描不完。

多进程实现

改成多进程实现非常简单，只需要在do后面的大括号加 & 符号，在done后面加一个wait,表示父进程等待子进程退出后再退出

复制代码 代码如下:

#!/bin/bash
#判断是否有参数
if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

#循环读出URL并判断状态码
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    }
}&
done < $1
wait
echo "执行结束"

这样就能多进程并发执行了，但有个问题是进程会一下子非常多，几百上千，超过系统限制报错，下面我们就加上 进程数控制。

多进程实现并控制进程数

复制代码 代码如下:

#!/bin/bash
#允许的进程数
THREAD_NUM=200
#定义描述符为9的管道
mkfifo tmp   #mkfifo 命令mkfifo命令创建一个FIFO特殊文件,是一个命名管道(可以用来做进程之间通信的桥梁)管道也是一种文件,一般是linux中的一个页大小,4k
exec 9<>tmp ## 定义文件描述符9指向这个fifo管道文件
#预先写入指定数量的换行符，一个换行符代表一个进程
for ((i=0;i<$THREAD_NUM;i++))
do
    echo -ne "\n" 1>&9  #一个换行符代表一个进程, done

if [ $# != 1 ] ;then
        echo "The parameters you enter is not correct !";
        exit -1;
fi

while read line
do
{
    #进程控制
    read -u 9 #从文件描述符9中读取行，实际指向fifo管道
    {
        #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
        echo -ne "\n" 1>&9
    }&
}
done < $1
wait
echo "执行结束"
rm tmp

上面的代码就可以 保证子进程在指定数量了，其进程控制原理是通过管道实现的，当管道无内容可读时就不会执行

复制代码 代码如下:

{
    #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    #写入一个换行符
    echo -ne "\n" 1>&9  

-n 是去掉换行
-e 是会把\解析成转义

}&

而且每个进程执行完成后都会向管道写入一个换行符，从而保证进程数是指定的。

这样就能达到我们的目的了。