shell如何模块化和复用——shell深入学习
2011-09-18 星期天 阴天
基本上所有的编程语言都支持模块化,以达到功能复用的效果。比如java和python的import xxx。C/C++的include。那么shell支持模块化吗?
shell本质上并不支持模块化,但是有些机制可以使它达到类似的效果。
1. 一种是新产生一个shell,然后执行相应的shell scripts:
方法是在scripts文件开头加入以下语句
#!/bin/bash
一般的script文件(.sh)即是这种用法。这种方法先启用新的sub-shell(新的子进程),然后在其下执行命令。
也可以指定shell类型,如:
$sh script文件
2. 一种是在当前shell下执行,不再启用其他shell:
方法是使用source命令,不再产生新的shell,而在当前shell下执行一切命令。
也有两种语法:
$source script文件
或者直接用点号:. script文件(sh 只支持点号,不支持source命令,所以建议使用点号)
一个非常形象的类比是:shell的source就是C中的include。
注意:shell不会判断一个shell脚本是不是被导入多次,每次source(或者点号)scriptFile,都会在当前shell中执行scriptFile。这点和C的include是一样的。正如C可以使用条件包含避免重复导入头文件,shell也有类似的机制。这个我们在下面会讲到。
一个例子胜过千言万语,我们将采用循序渐进的方式逐渐修复到最完美的方案。
# trim(str)
svncobranch http://svn.alibaba-inc.com/repos/ali_sourcing/share/biz/product/branches/20110817_73701_2 /home/forrest/work/intl-biz/product
先解决最简单的导入情况——module shell和client shell在一个文件夹下:
子模块定义:
forrest@forrest-laptop:~/study/shell$ cat amodule.sh
#!/bin/bash
global_var="This is a global variable define in amodule."
say_hello(){
global_var_define_in_function="This is a global variable define in a function in amodule."
local local_var="This is a local variable define in a function in amodule."
echo "Hello, $1. This is a function define in amodule."
}
使用脚本定义:
forrest@forrest-laptop:~/study/shell$ cat main.sh
#!/bin/bash
. ./amodule.sh
say_hello "Forrest Gump"
echo "global_var=$global_var"
echo "global_var_define_in_function=$global_var_define_in_function"
echo "local_var=$local_var"
执行结果:
forrest@forrest-laptop:~/study/shell$ ./main.sh
Hello, Forrest Gump. This is a function define in amodule.
global_var=This is a global variable define in amodule.
global_var_define_in_function=This is a global variable define in a function in amodule.
local_var=
可以看到,在main.sh中通过source amodule.sh,main.sh可以直接使用amodule.sh中定义的全局变量和函数。而局部变量是拿不到的。
但是在比较大型的shell项目中,module shell和client shell往往不在一个目录下,而且module shell之间还会相互依赖(导入),你会发现使用相对路径会出现找不到module shell的情况。看下面这个比较复杂而真实的例子:
forrest@forrest-laptop:~/study/shell/svn_tools$ tree
.
├── modules
│ ├── log.sh
│ ├── svn_core.sh
│ └── utils.sh
└── svncobranches.sh
1 directory, 4 files
依赖(导入)关系是:
svncobranches.sh导入modules/svn_core.sh,svn_core.sh导入utils.sh和log.sh,log.sh导入utils.sh。当然,svncobranches.sh也可能依赖modules/log.sh和modules/utils.sh,但是通过svn_core.sh已经间接导入了。
一般来说是这样的导入方式:
forrest@forrest-laptop:~/study/shell/svn_tools$ cat svncobranches.sh
#!/bin/bash
. modules/svn_core.sh
forrest@forrest-laptop:~/study/shell/svn_tools$ cat modules/svn-core.sh
. utils.sh
. log.sh
forrest@forrest-laptop:~/study/shell/svn_tools$ cat modules/log.sh
. utils.sh
但是因为我们是运行svncobranches.sh,当svncobranches.sh在source svn_core.sh时,svn_core.sh的相对路径不是在modules目录,而不是在svn_tools目录。这样svn_core.sh导入utils.sh和log.sh就会出错:
forrest@forrest-laptop:~/study/shell/svn_tools$
sh svncobranches.sh
.: 1: utils.sh: not found
而如果我们不是在svn_tools
目录下运行svncobranches.sh,那么svncobranches.sh导入. modules/svn_core.sh就已经报错了:
forrest
@forrest-laptop
:~$ sh ~/
study/shell/svn_tools
/
svncobranches.sh
.: 5: Can't open modules/svn_core.sh
这个问题更严重了,因为我们不能强迫用户一定在client shell所在目录下运行我们的client shell脚本。如何处理呢?
注意到shell的source是这么一个查找机制:
被source的module shell script,shell会在$PATH环境变量中搜索。根据这个信息,将我们的modules目录放在环境变量$PATH中,就可以不用指定相对或者绝对路径了。
但是关键在于第一个source,就是你的client shell导入modules shell,必须找到你当前的运行目录。这可以通过dirname得到:
forrest@forrest-laptop:~/study/shell/svn_tools$ cat svncobranches.sh
#!/bin/bash
# determine base directory; preserve where you're running from
basedir=$(dirname $0)
#echo $basedir
export PATH=$PATH:$basedir/modules
. svn_core.sh
svncobranch http://svn.alibaba-inc.com/repos/ali_sourcing/share/biz/product/branches/20110817_73701_2 /home/forrest/work/intl-biz/product
forrest@forrest-laptop:~/study/shell/svn_tools
$ cat modules/svn-core.sh
. utils.sh
. log.sh
### svn上将指定的SVN URL co到本地指定的目录,这里只是演示,打个log而已。
# svncobranch svnurl path
svncobranch()
{
local svnurl=$1
local path=$2
log "svncobranch($svnurl, $path)"
}
forrest@forrest-laptop:~/study/shell/svn_tool
/m
odules$ cat log.sh
# log(meg, loglevel)
log()
{
datetime=`date +"%y-%m-%d %H:%M:%S"`
message=$1
if [ -z "$2" ]
then
loglevel="INFO"
else
loglevel=$2
fi
if [ ! -d log/ ]; then
mkdir log
fi
logfname=`removepostfix $0`
echo "$datetime [$0] $loglevel :: $message" | tee -a "log/$logfname.log"
}
log_error()
{
log "$1" "ERROR"
}
log_info()
{
log "$1" "INFO"
}
log_debug()
{
log "$1" "DEGUG"
}
log_warn()
{
log "$1" "WARN"
}
forrest@forrest-laptop:~/study/shell/svn_tools/modules$ cat utils.sh
# remove blank space in both side
trim()
{
echo $*
}
# remove the postfix
# svncobranches.sh ==> svncobranches
removepostfix()
{
filename=$(basename "$1")
echo "$filename" | sed 's/.sh$//'
}
forrest@forrest-laptop:~$
sh ~/study/shell/svn_tool
/svncobranches.sh
11-09-18 10:50:06 [/home/forrest/study/shell/svn_tools/svncobranches.sh] INFO :: svncobranch(http://svn.alibaba-inc.com/repos/ali_sourcing/share/biz/product/branches/20110817_73701_2, /home/forrest/work/intl-biz/product)
可以看到,我们的模块化策略其实是变成这样了:由client shell将整个modules目录放入到PATH环境变量中,那么在该shell进程中所有的导入都不需要指定相对或者绝对路径。好像它们都在同一个目录下一样。
上面的程序在一般情况下运行良好,不过有个小问题,就是如果用户对你的shell建立了一个软链接,那么需要follow symbol link:
forrest@forrest-laptop:~$ ln -s /home/forrest/study/shell/svn_tools
/svncobranches.sh svncobranches
.sh
forrest@forrest-laptop:~$ sh
svncobranches
.sh
.
.: 10: svn_core.sh: not found
使用readlink -f $0可以得到真实的文件路径:
forrest@forrest-laptop:~/study/shell/svn_tools$
cat svncobranches.sh
#!/bin/bash
# determine base directory; preserve where you're running from
#echo "Path to $(basename $0) is $(readlink -f $0)"
realpath=$(readlink -f "$0")
basedir=$(dirname "$realpath")
#echo "basedir=$basedir"
export PATH=$PATH:$basedir/modules
. svn_core.sh
forrest@forrest-laptop:~$ sh svncobranches.sh
Path to test.sh is /home/forrest/study/shell/svncobranches.sh
basedir=/home/forrest/study/shell
11-09-18 11:07:25 [svncobranches.sh] INFO :: svncobranch(
http://svn.alibaba-inc.com/repos/ali_sourcing/share/biz/product/branches/20110817_73701_2,/home/forrest/work/intl-biz/product)
最后一个问题,就是我们在前面一开始提到的重复导入问题:如何避免一个module shell被导入多次呢?
首先看一下如果发生这种事情,会出现什么状况。
我们知道log.sh依赖于utils.sh,假如我们让utils.sh也依赖于log.sh(这个很正常,log本来就是很基础的服务。)
forrest@forrest-laptop:~/study/shell/svn_tools/modules$ cat utils.sh
. log.sh
# trim(str)
# remove blank space in both side
trim()
{
echo $*
}
# remove the postfix
# svncobranches.sh ==> svncobranches
removepostfix()
{
filename=$(basename "$1")
echo "$filename" | sed 's/.sh$//'
}
执行结果是根本执行不了,直接包错了:
forrest@forrest-laptop:~/study/shell/svn_tools$ sh svncobranches.sh
.: 1: 3: Too many open files
这是因为shell在source的时候陷入了死循环了,因为log.sh和utils.sh互相依赖导致的。
怎么解决呢?其实这个问题在C中包含头文件也有类似的情况(不过C主要是避免重复定义),而C使用了#ifndef宏来条件包含。他其实也是定义了一个环境变量(
preprocessor variable ,
http://www.fredosaurus.com/notes-cpp/preprocessor/ifdef.html )
#ifndef MYHEADER_H
#define MYHEADER_H
. . .
// This will be seen by the compiler only once
#endif /* MYHEADER_H */
我们可以采用类似的方式——export就相当于#define宏。
if [ "$log" ]; then
return
fi
export log="log.sh"
. utils.sh
...
最终所有代码如下:
client shell定义如下:
forrest@forrest-laptop:~/study/shell/svn_tools$ cat svncobranches.sh
#!/bin/bash
# determine base directory; preserve where you're running from
realpath=$(readlink -f "$0")
export basedir=$(dirname "$realpath") #export basedir, so that module shell can use it. log.sh. e.g.
export filename=$(basename "$realpath") #export filename, so that module shell can use it. log.sh. e.g.
export PATH=$PATH:$basedir/modules
. svn_core.sh
svncobranch
http://svn.alibaba-inc.com/repos/ali_sourcing/share/biz/product/branches/20110817_73701_2 /home/forrest/work/intl-biz/product
forrest@forrest-laptop:~/study/shell/svn_tools$ cd modules/
forrest@forrest-laptop:~/study/shell/svn_tools/modules$ cat svn_core.sh
if [ "$svn_core" ]; then
return
fi
export svn_core="svn_core.sh"
. utils.sh
. log.sh
### svn上将指定的SVN URL co到本地指定的目录
# svncobranch svnurl path
svncobranch()
{
local svnurl=$1
local path=$2
log "svncobranch($svnurl, $path)"
}
forrest@forrest-laptop:~/study/shell/svn_tools/modules$ cat log.sh
if [ "$log" ]; then
return
fi
export log="log.sh"
. utils.sh
# log(meg, loglevel)
log()
{
datetime=`date +"%y-%m-%d %H:%M:%S"`
message=$1
if [ -z "$2" ]
then
loglevel="INFO"
else
loglevel=$2
fi
outdir="$basedir/log"
if [ ! -d "$outdir" ]; then
mkdir "$outdir"
fi
logname=`removepostfix $filename`
echo "$datetime [$0] $loglevel :: $message" | tee -a "$outdir/$logname.log"
}
log_error()
{
log "$1" "ERROR"
}
log_info()
{
log "$1" "INFO"
}
log_debug()
{
log "$1" "DEGUG"
}
log_warn()
{
log "$1" "WARN"
}
forrest@forrest-laptop:~/study/shell/svn_tools/modules$ cat utils.sh
if [ "$utils" ]; then
return
fi
export utils="utils.sh"
. log.sh
# trim(str)
# remove blank space in both side
trim()
{
echo $*
}
# remove the postfix
# svncobranches.sh ==> svncobranches
removepostfix()
{
filename=$(basename "$1")
echo "$filename" | sed 's/.sh$//'
}
上面代码在笔者机器上全部测试过,应该没有问题。
参考资料:
这篇文章对shell的export和source命令有比较深入的讲解:[ 4. Variables - Part I |
http://steve-parker.org/sh/variables1.shtml ]
这篇文章对shell的export有非常详细的讲解和例子:[How to Use the Bash Shell's export Command |
http://www.lamolabs.org/blog/2681/one-liner-how-to-use-the-bash-shells-export-command/]