linux shell编程学习记录

从程序员的角度来看，Shell本身是一种用C语言编写的程序，从用户的角度来看，Shell是用户与Linux操作系统沟通的桥梁。用户既可以输入命令执行，又可以利用Shell脚本编程，完成更加复杂的操作。在LinuxGUI日益完善的今天，在系统管理等领域，Shell编程仍然起着不可忽视的作用。深入地了解和熟练地掌握Shell编程，是每一个Linux用户的必修功课之一。

Linux的Shell种类众多，常见的有：BourneShell（/usr/bin/sh或/bin/sh）、Bourne Again Shell（/bin/bash）、CShell（/usr/bin/csh）、K Shell（/usr/bin/ksh）、Shell forRoot（/sbin/sh），等等。不同的Shell语言的语法有所不同，所以不能交换使用。每种Shell都有其特色之处，基本上，掌握其中任何一种就足够了。在本文中，我们关注的重点是Bash，也就是Bourne AgainShell，由于易用和免费，Bash在日常工作中被广泛使用；同时，Bash也是大多数Linux系统默认的Shell。在一般情况下，人们并不区分Bourne Shell和Bourne AgainShell，所以，在下面的文字中，我们可以看到#!/bin/sh，它同样也可以改为#!/bin/bash。

利用vi等文本编辑器编写Shell脚本的格式是固定的，如下：

#!/bin/sh

#comments

Your commands go here

首行中的符号#!告诉系统其后路径所指定的程序即是解释此脚本文件的Shell程序。如果首行没有这句话，在执行脚本文件的时候，将会出现错误。后续的部分就是主程序，Shell脚本像高级语言一样，也有变量赋值，也有控制语句。除第一行外，以#开头的行就是注释行，直到此行的结束。如果一行未完成，可以在行尾加上"，这个符号表明下一行与此行会合并为同一行。

编辑完毕，将脚本存盘为filename.sh，文件名后缀sh表明这是一个Bash脚本文件。执行脚本的时候，要先将脚本文件的属性改为可执行的：

chmod +x filename.sh

执行脚本的方法是：

./filename.sh

下面我们从经典的“hello world”入手，看一看最简单的Shell脚本的模样。

#!/bin/sh

#print hello world in the console window

a = "hello world"

echo $a

ShellScript是一种弱类型语言，使用变量的时候无需首先声明其类型。新的变量会在本地数据区分配内存进行存储，这个变量归当前的Shell所有，任何子进程都不能访问本地变量。这些变量与环境变量不同，环境变量被存储在另一内存区，叫做用户环境区，这块内存中的变量可以被子进程访问。变量赋值的方式是：

variable_name = variable_value

如果对一个已经有值的变量赋值，新值将取代旧值。取值的时候要在变量名前加$，$variable_name可以在引号中使用，这一点和其他高级语言是明显不同的。如果出现混淆的情况，可以使用花括号来区分，例如：

echo "Hi, $as"

就不会输出“Hi, hello worlds”，而是输出“Hi，”。这是因为Shell把$as当成一个变量，而$as未被赋值，其值为空。正确的方法是：

echo "Hi, ${a}s"

单引号中的变量不会进行变量替换操作。

关于变量，还需要知道几个与其相关的Linux命令。

env用于显示用户环境区中的变量及其取值；set用于显示本地数据区和用户环境区中的变量及其取值；unset用于删除指定变量当前的取值，该值将被指定为NULL；export命令用于将本地数据区中的变量转移到用户环境区。

下面我们来看一个更复杂的例子，结合这个例子，我们来讲述Shell Script的语法。

 1  # ! / bin / bash
 2  #  we have less than  3  arguments .   Print  the help text:
 3  if  [  $#  -lt  3  ] ;   then
 4  cat << HELP
 5        ren  -- renames a number of  files  using sed regular expressions
 6 
 7       USAGE:  ren  'regexp' 'replacement'  files
 8       EXAMPLE:  rename  all * . HTM  files  in * . html:
 9        ren  'HTM $ ' 'html' * . HTM
10 
11  HELP
12        exit   0
13  fi
14  OLD = " $1 "
15  NEW = " $2 "
16  #  The  shift   command  removes one argument from the list of
17  #   command  line arguments .
18  shift
19  shift
20  #   $ * contains now all the  files :
21  for  file in  $ * ;   do
22  if  [ -f  " $file "  ] ;   then
23      newfile = ` echo   " $file "  | sed   " s/${OLD}/${NEW}/g " `
24           if  [ -f  " $newfile "  ] ;   then
25               echo   " ERROR: $newfile exists already "
26           else
27               echo   " renaming $file to $newfile  "
28              mv  " $file "   " $newfile "
29          fi
30  fi
31  done

我们从头来看，前面两行上一个例子中已经解释过了，从第三行开始，有新的内容。if语句和其他编程语言相似，都是流程控制语句。它的语法是：

if …; then

…

elif …; then

…

else

…

fi

与其他语言不同，Shell Script中if语句的条件部分要以分号来分隔。第三行中的[]表示条件测试，常用的条件测试有下面几种：

[ -f "$file" ] 判断$file是否是一个文件

[ $a -lt 3 ] 判断$a的值是否小于3，同样-gt和-le分别表示大于或小于等于

[ -x "$file" ] 判断$file是否存在且有可执行权限，同样-r测试文件可读性

[ -n "$a" ] 判断变量$a是否有值，测试空串用-z

[ "$a" = "$b" ] 判断$a和$b的取值是否相等

[ cond1 -a cond2 ] 判断cond1和cond2是否同时成立，-o表示cond1和cond2有一成立

要注意条件测试部分中的空格。在方括号的两侧都有空格，在-f、-lt、=等符号两侧同样也有空格。如果没有这些空格，Shell解释脚本的时候就会出错。

$#表示包括$0在内的命令行参数的个数。在Shell中，脚本名称本身是$0，剩下的依次是$0、$1、$2…、${10}、${11}，等等。$*表示整个参数列表，不包括$0，也就是说不包括文件名的参数列表。

现在我们明白第三行的含义是如果脚本文件的参数少于三个，则执行if和fi语句之间的内容。然后，从第四行到第十一行之间的内容在ShellScript编程中被称为Here文档，Here文档用于将多行文本传递给某一命令。Here文档的格式是以<<开始，后跟一个字符串，在Here文档结束的时候，这个字符串同样也要出现，表示文档结束。在本例中，Here文档被输出给cat命令，也即将文档内容打印在屏幕上，起到显示帮助信息的作用。

第十二行的exit是Linux的命令，表示退出当前进程。在Shell脚本中可以使用所有的Linux命令，利用上面的cat和exit，从一方面来说，熟练使用Linux命令也可以大大减少Shell脚本的长度。

十四、十五两句是赋值语句，分别将第一和第二参数赋值给变量OLD和NEW。紧接下来的两句是注释，注释下面的两条shift的作用是将参数列表中的第一个和第二个参数删除，后面的参数依次变为新的第一和第二参数，注意参数列表原本也不包括$0。

然后，自二十一行到三十一行是一个循环语句。Shell Script中的循环有下面几种格式：

while [ cond1 ] && { || } [ cond2 ] …; do

…

done

for var in …; do

…

done

for (( cond1; cond2; cond3 )) do

…

done

until [ cond1 ] && { || } [ cond2 ] …; do

…

done

在上面这些循环中，也可以使用类似C语言中的break和continue语句中断当前的循环操作。第二十一行的循环是将参数列表中的参数一个一个地放入变量file中。然后进入循环，判断file是否为一个文件，如果是文件的话，则用sed命令搜索和生成新的文件名。sed基本上可以看成一个查找替换程序，从标准输入，例如管道读入文本，并将结果输出到标准输出，sed使用正则表达式进行搜索。在第二十三行中，backtick（`）的作用是取出两个backtick之间的命令输出结果，在这里，也就是将结果取出赋给变量newfile。此后，判断newfile是否已经存在，否则就把file改成newfile。这样我们就明白这个脚本的作用了，ShellScript编写的其他脚本与此相似，只不过是语法和用法稍有不同而已。

通过这个例子我们明白了Shell Script的编写规则，但还有几件事情需要讲述一下。

第一个，除了if语句之外，Shell Script中也有类似C语言中多分支结构的case语句，它的语法是：

case var in

pattern 1 )

… ;;

pattern 2 )

… ;;

*)

… ;;

esac

我们再就下面一个例子，看看case语句的用法。

while getopts vc: OPTION

do

case $OPTION in

c) COPIES=$OPTARG

     ehco "$COPIES";;

v) echo "suyang";;

\?) exit 1;;

esac

done

上面的getopts类似于C语言提供的函数getopts，在Shell Script中，getopts经常和while语句联合起来使用。getopts的语法如下：

getopts option_string variable

option_string中包含一串单字符选项，若getopts在命令行参数中发现了连字符，那么它会将连字符之后的字符与option_string进行比较，若匹配成功，则把变量variable的值设为该选项，若无匹配，则把变量的值设为？。有时候，选项还会带一个值，例如-c5等，这时要在option_string中该选项字母后面加上一个冒号，getopts发现冒号后，会读取该值，然后将该值放入特殊变量OPTARG中。这个命令比较复杂，如有需要，读者可以详细参阅Shell编写的相关资料。

上面这个循环的作用就是依次取出脚本名称后面的选项，进行处理，如果输入了非法选项，则进入"?指定的部分，退出脚本程序。

第二个，Bash提供了一种用于交互式应用的扩展select，用户可以从一组不同的值中进行选择。其语法如下：

select var in …; do

break;

done

例如，下面这段程序的输出是：

#!/bin/bash

echo "Your choice?"

select var in "a" "b" "c"; do

break

done

echo $var

----------------------------

Your choice?

1) a

2) b

3) c

第三，Shell Script中也可以使用自定义的函数，其语法形式如下：

functionname()

{

…

}

例如我们可以把上面第二个例子中第四到第十二行放入一个名为help函数体内，以后每次调用的时候直接写help即可。函数中处理函数调用参数的方法是，直接用上面讲过的$1、$2来分别表示第一、第二个参数，用$*表示参数列表。

第四，我们也可以在Shell下调试Shell Script脚本，当然最简单的方法就是用echo输出查看变量取值了。Bash也提供了真正的调试方法，就是执行脚本的时候用-x参数。

sh ?x filename.sh

这会执行脚本并显示脚本中所有变量的取值，也可以使用参数-n，它并不执行脚本，只是返回所有的语法错误。

补充：我的环境是Mac OS X 10.8.3
1. a = "hello world" 这句定义变量并赋值这里，= 号前后都不能有空格
2. `echo "$file" | sed "s/${OLD}/${NEW}/g"`这里 | 的意思是“管道”pipe，整句的意思是将 | 前面的输出，做为 后面的输入

  $0 ---- 当前程序的名称，实际上是一个内部参数，不同于$1,$2....因为它必须有！
　　$# ---- 传递给程序的总的参数数目，也就是那个传说中的数组大小
　　$? ---- 上一个代码或者shell程序在shell中退出的情况，如果正常退出则返回0，反之为非0值。
　　$* ---- 传递给程序的所有参数组成的字符串。
　　$@ ---- 以"参数1" "参数2" ... 形式保存所有参数
　　$$ ---- 本程序的(进程ID号)PID
　　$! ---- 上一个命令的PID
　　命令行指令$ test.sh f1.c f2.c
　　脚本举例：
　　if [ $# -eq 0 ];then
　　echo "no arguments"
　　else
　　for args in $@
　　echo $args
　　fi
　　其中$#表示参数的个数，$@取到所有的参数值

[ -a FILE ] 如果 FILE 存在则为真。

[ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。

[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。

[ -d FILE ] 如果 FILE 存在且是一个目录则为真。

[ -e FILE ] 如果 FILE 存在则为真。

[ -f FILE ] 如果 FILE 存在且是一个普通文件则为真。

[ -g FILE ] 如果 FILE 存在且已经设置了SGID则为真。

[ -h FILE ] 如果 FILE 存在且是一个符号连接则为真。

[ -k FILE ] 如果 FILE 存在且已经设置了粘制位则为真。

[ -p FILE ] 如果 FILE 存在且是一个名字管道(F如果O)则为真。

[ -r FILE ] 如果 FILE 存在且是可读的则为真。

[ -s FILE ] 如果 FILE 存在且大小不为0则为真。

[ -t FD ] 如果文件描述符 FD 打开且指向一个终端则为真。

[ -u FILE ] 如果 FILE 存在且设置了SUID (set user ID)则为真。

[ -w FILE ] 如果 FILE 如果 FILE 存在且是可写的则为真。

[ -x FILE ] 如果 FILE 存在且是可执行的则为真。

[ -O FILE ] 如果 FILE 存在且属有效用户ID则为真。

[ -G FILE ] 如果 FILE 存在且属有效用户组则为真。

[ -L FILE ] 如果 FILE 存在且是一个符号连接则为真。

[ -N FILE ] 如果 FILE 存在 and has been mod如果ied since it was last read则为真。

[ -S FILE ] 如果 FILE 存在且是一个套接字则为真。

[ FILE1 -nt FILE2 ] 如果 FILE1 has been changed more recently than FILE2, or 如果 FILE1 exists and FILE2 does not则为真。

[ FILE1 -ot FILE2 ] 如果 FILE1 比 FILE2 要老, 或者 FILE2 存在且 FILE1 不存在则为真。

[ FILE1 -ef FILE2 ] 如果 FILE1 和 FILE2 指向相同的设备和节点号则为真。

[ -o OPTIONNAME ] 如果 shell选项 “OPTIONNAME” 开启则为真。

[ -z STRING ] “STRING” 的长度为零则为真。

[ -n STRING ] or [ STRING ] “STRING” 的长度为非零 non-zero则为真。

[ STRING1 == STRING2 ] 如果2个字符串相同。 “=” may be used instead of “==” for strict POSIX compliance则为真。

[ STRING1 != STRING2 ] 如果字符串不相等则为真。

[ STRING1 < STRING2 ] 如果 “STRING1” sorts before “STRING2” lexicographically in the current locale则为真。

[ STRING1 > STRING2 ] 如果 “STRING1” sorts after “STRING2” lexicographically in the current locale则为真。

[ ARG1 OP ARG2 ] “OP” is one of -eq, -ne, -lt, -le, -gt or -ge. These arithmetic binary operators return true if “ARG1” is equal to, not equal to, less than, less than or equal to, greater than, or greater than or equal to “ARG2”, respectively. “ARG1” and “ARG2” are integers.

 

3.位置参数
就是从命令行中传进来的参数,$0, $1, $2, $3...
$0就是脚本文件的名字,$1是第一个参数,$2为第2个...,参见[1](有$0的说明),$9
以后就需要打括号了,如${10},${11},${12}...

shift命令重新分配位置参数,其实就是向左移动一个位置.
$1 <--- $2, $2 <--- $3, $3 <--- $4, 等等.
老的$1将消失,但是$0(脚本名)是不会改变的.如果你使用了大量的位置参数,那么
shift命令允许你存取超过10个参数.虽然{}表示法也允许这样.

例：
#!/bin/sh
# we have less than 3 arguments. Print the help text:
if [ $# -lt 3 ] ; then
cat <
ren -- renames a number of files using sed regular expressions
USAGE: ren 'regexp' 'replacement' files...
EXAMPLE: rename all *.HTM files in *.html:
　ren 'HTM$' 'html' *.HTM
HELP
　exit 0
fi
OLD="$1"
NEW="$2"
# The shift command removes one argument from the list of
# command line arguments.
shift
shift
# $* contains now all the files:
for file in $*; do
　　if [ -f "$file" ] ; then
　　　newfile=`echo "$file" | sed "s/${OLD}/${NEW}/g"`
　　　if [ -f "$newfile" ]; then
　　　　echo "ERROR: $newfile exists already"
　　　else
　　　　echo "renaming $file to $newfile ..."
　　　　mv "$file" "$newfile"
　　　fi
　　fi
done

讲解：这 是一个复杂一些的例子。让我们详细讨论一下。第一个if表达式判断输入命令行参数是否小于3个 (特殊变量$# 表示包含参数的个数) 。如果输入参数小于3个，则将帮助文字传递给cat命令，然后由cat命令将其打印在屏幕上。打印帮助文字后程序退出。 如果输入参数等于或大于3个，我们就将第一个参数赋值给变量OLD，第二个参数赋值给变量NEW。下一步，我们使用shift命令将第一个和第二个参数从 参数列表中删除，这样原来的第三个参数就成为参数列表$*的第一个参数。然后我们开始循环，命令行参数列表被一个接一个地被赋值给变量$file。接着我 们判断该文件是否存在，如果存在则通过sed命令搜索和替换来产生新的文件名。然后将反短斜线内命令结果赋值给newfile。这样我们就达到了我们的目 的：得到了旧文件名和新文件名。然后使用mv命令进行重命名。

4.
通常用" [ ] "来表示条件测试。注意这里的空格很重要。要确保方括号的空格。
[ -f "somefile" ] ：判断是否是一个文件
[ -x "/bin/ls" ] ：判断/bin/ls是否存在并有可执行权限
[ -n "$var" ] ：判断$var变量是否有值
[ -e "somefile" ]：判断文件是否存在
[ -d "somefile" ]：判断是否为文件夹
[ -r "somefile" ]：判断文件是否可读
[ -w "somefile" ] ：判断文件是否可写
[ -x "somefile" ]：判断文件是否可执行
[ "$a" = "$b" ] ：判断$a和$a是否相等 

5. 双引号、单引号和反引号(后置引用)
双引号：阻止了所有在引号中的特殊字符的重新解释--包括变量名--但是$,`(后置引用)和/除外.保留$,作为特殊字符的意义,是为了能够在双引号中也能够正常地引用变量("$var")。
使用""来防止单词分割.[4]如果在参数列表中使用双引号,将使得双引号中的参数作为一个参数.即使双引号中的字符串包含多个单词(也就是包含空白部分),也不会变为多个参数。

单引号：单引号操作总体上和""很像,但不允许引用变量.因为$的特殊含义被关闭了.在''中除了',其他
字符都没有特殊的含义了.所以单引号比双引号严格. 因为即使是/,在''中都被关闭了,所以你想在''中显示'的含义,将得不到预期的效果.

反引号(后置引用)：命令替换将会重新分配一个命令甚至是多个命令的输出;：它会将命令的输出如实地添加到另一个上下文中。使用命令替换的典型形式是使用后置引用(`...`). 后置引用形式的命令(就是被反引号括起来)将会产生命令行文本。
使用后置引用的意义在于：命令的输出可以被当成传递到另一个命令的参数, 或者保存到变量中, 甚至可以用来产生for循环的参数列表.
例如：
#!/bin/sh
file abc.zip    #执行并输出，但无法将其命令行输出赋值给一个变量
file_type=`file abc.zip`  #可执行并把其输出赋值给变量file_type

 

 

[ -a FILE ] 如果 FILE存在则为真。

[ -b FILE ] 如果 FILE存在且是一个块特殊文件则为真。

[ -c FILE ] 如果 FILE存在且是一个字特殊文件则为真。

[ -d FILE ] 如果 FILE存在且是一个目录则为真。

[ -e FILE ] 如果 FILE存在则为真。

[ -f FILE ] 如果 FILE存在且是一个普通文件则为真。

[ -g FILE ] 如果 FILE存在且已经设置了SGID则为真。

[ -h FILE ] 如果 FILE存在且是一个符号连接则为真。

[ -k FILE ] 如果 FILE存在且已经设置了粘制位则为真。

[ -p FILE ] 如果 FILE存在且是一个名字管道(F如果O)则为真。

[ -r FILE ] 如果 FILE存在且是可读的则为真。

[ -s FILE ] 如果 FILE存在且大小不为0则为真。

[ -t FD ] 如果文件描述符 FD打开且指向一个终端则为真。

[ -u FILE ] 如果 FILE存在且设置了SUID (set user ID)则为真。

[ -w FILE ] 如果 FILE如果 FILE 存在且是可写的则为真。

[ -x FILE ] 如果 FILE存在且是可执行的则为真。

[ -O FILE ] 如果 FILE存在且属有效用户ID则为真。

[ -G FILE ] 如果 FILE存在且属有效用户组则为真。

[ -L FILE ] 如果 FILE存在且是一个符号连接则为真。

[ -N FILE ] 如果 FILE存在 and has been mod如果ied since it was last read则为真。

[ -S FILE ] 如果 FILE存在且是一个套接字则为真。

[ FILE1 -nt FILE2 ] 如果 FILE1 has been changed more recently than FILE2, or如果 FILE1 exists and FILE2 does not则为真。

[ FILE1 -ot FILE2 ] 如果 FILE1 比 FILE2要老, 或者 FILE2存在且 FILE1 不存在则为真。

[ FILE1 -ef FILE2 ] 如果 FILE1 和 FILE2指向相同的设备和节点号则为真。

[ -o OPTIONNAME ] 如果 shell选项“OPTIONNAME”开启则为真。

[ -z STRING ] “STRING”的长度为零则为真。

[ -n STRING ] or [ STRING ]“STRING”的长度为非零 non-zero则为真。

[ STRING1 == STRING2 ]如果2个字符串相同。“=” may be used instead of“==” for strict POSIX compliance则为真。

[ STRING1 != STRING2 ]如果字符串不相等则为真。

[ STRING1 < STRING2 ]如果“STRING1” sorts before“STRING2” lexicographically in the current locale则为真。

[ STRING1 > STRING2 ]如果“STRING1” sorts after“STRING2” lexicographically in the current locale则为真。 [ ARG1 OP ARG2 ] “OP” is one of -eq, -ne, -lt, -le, -gt or -ge. These arithmetic binary operators return true if “ARG1” is equal to, not equal to, less than, less than or equal to, greater than, or greater than or equal to “ARG2”, respectively. “ARG1” and “ARG2” are integers.

 

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

运算符描述示例

文件比较运算符

-e filename 如果 filename存在，则为真 [ -e /var/log/syslog ]

-d filename 如果 filename为目录，则为真 [ -d /tmp/mydir ]

-f filename 如果 filename为常规文件，则为真 [ -f /usr/bin/grep ]

-L filename 如果 filename为符号链接，则为真 [ -L /usr/bin/grep ]

-r filename 如果 filename可读，则为真 [ -r /var/log/syslog ]

-w filename 如果 filename可写，则为真 [ -w /var/mytmp.txt ]

-x filename 如果 filename可执行，则为真 [ -L /usr/bin/grep ]

filename1 -nt filename2如果 filename1 比 filename2新，则为真 [ /tmp/install/etc/services -nt /etc/services ]

filename1 -ot filename2如果 filename1 比 filename2旧，则为真 [ /boot/bzImage -ot arch/i386/boot/bzImage ]

字符串比较运算符（请注意引号的使用，这是防止空格扰乱代码的好方法）

-z string 如果 string长度为零，则为真 [ -z $myvar ]

-n string 如果 string长度非零，则为真 [ -n $myvar ]

string1 = string2 如果 string1 与 string2相同，则为真 [ $myvar = one two three ]

string1 != string2 如果 string1 与 string2不同，则为真 [ $myvar != one two three ]

算术比较运算符

num1 -eq num2 等于 [ 3 -eq $mynum ]

num1 -ne num2 不等于 [ 3 -ne $mynum ]

num1 -lt num2 小于 [ 3 -lt $mynum ]

num1 -le num2 小于或等于 [ 3 -le $mynum ]

num1 -gt num2 大于 [ 3 -gt $mynum ]

num1 -ge num2 大于或等于 [ 3 -ge $mynum ]

 

1 字符串判断

str1 = str2　　　　　　当两个串有相同内容、长度时为真
str1 != str2　　　　　当串str1和str2不等时为真
-n str1　　　　　　　当串的长度大于0时为真(串非空)
-z str1　　　　　　　当串的长度为0时为真(空串)
str1　　　　　　　　  当串str1为非空时为真

2 数字的判断

int1 -eq int2　　　　两数相等为真
int1 -ne int2　　　　两数不等为真
int1 -gt int2　　　　int1大于int2为真
int1 -ge int2　　　　int1大于等于int2为真
int1 -lt int2　　　　int1小于int2为真
int1 -le int2　　　　int1小于等于int2为真

3 文件的判断

-r file　　　　　用户可读为真
-w file　　　　　用户可写为真
-x file　　　　　用户可执行为真
-f file　　　　　文件为正规文件为真
-d file　　　　　文件为目录为真
-c file　　　　　文件为字符特殊文件为真
-b file　　　　　文件为块特殊文件为真
-s file　　　　　文件大小非0时为真
-t file　　　　　当文件描述符(默认为1)指定的设备为终端时为真

3 复杂逻辑判断

-a 　　　　　　与
-o　　　　　　　或
!　　　　　　　　非