linux 的shell 编写常用技巧

最新推荐文章于 2021-05-14 10:03:18 发布

ttyttytty12

最新推荐文章于 2021-05-14 10:03:18 发布

阅读量1.2k

点赞数

分类专栏： linux linuxwindows系统工具 shell

本文链接：https://blog.csdn.net/ttyttytty12/article/details/9959867

版权

linux 同时被 3 个专栏收录

24 篇文章 0 订阅

订阅专栏

linuxwindows系统工具

9 篇文章 0 订阅

订阅专栏

shell

7 篇文章 0 订阅

订阅专栏

一：shell环境变量$IFS的用法

1. IFS的默认值为：空白（包括：空格，tab, 和新行)，将其ASSII码用十六进制打印出来就是：20 09 0a

2. IFS对空格的空白的处理和其他字符不一样，左右两半的纯空白会被忽略，多个连续的空白被当成一个IFS处理。
3. S*中使用IFS中的第一个字符。
4. awk中的FS（域分隔符）也和IFS有类似的用法和作用。

shell环境变量$IFS的用法
S表示 Internal Field Separator （内部字段分隔符）
示例：
$ IFS=:
$ a=Hello:World
$ echo $a
  
输出的结果是：
Hello World
 
而不是：
Hello:World

这个例子说明了怎样在Linux下shell脚本中从数据文件读取特定的域（field）并进行操作。例如，假设文件employees.txt的格式是{employee-name}:{employee-id}:{department-name}，以冒号进行划分，如下所示。

$ cat employees.txt
Emma Thomas:100:Marketing
Alex Jason:200:Sales
Madison Randy:300:Product Development
Sanjay Gupta:400:Support
Nisha Singh:500:Sales

下面的shell脚本说明了如何从这个employee.txt文件中读取特定的域（field）。

$ vi read-employees.sh
#!/bin/bash
IFS=:
echo "Employee Names:"
echo "---------------"
while read name empid dept
do
echo "$name is part of $dept department"
done < ~/employees.txt

赋予脚本可执行权限后执行该脚本
二：

在shell中常用的特殊符号罗列如下：

# ; ;; . , / \\ 'string'| ! $ ${} $? $$ $*

\"string\"* ** ? : ^ $# $@ `command`{} [] [[]] () (())

|| && {xx,yy,zz,...}~ ~+ ~- & \\<...\\> + - %= == !=

# 井号 (comments)
这几乎是个满场都有的符号，除了先前已经提过的\"第一行\"
#!/bin/bash
井号也常出现在一行的开头，或者位于完整指令之后，这类情况表示符号后面的是注解文字，不会被执行。
# This line is comments.
echo \"a = $a\" # a = 0
由于这个特性，当临时不想执行某行指令时，只需在该行开头加上 # 就行了。这常用在撰写过程中。
#echo \"a = $a\" # a = 0
如果被用在指令中，或者引号双引号括住的话，或者在倒斜线的后面，那他就变成一般符号，不具上述的特殊功能。

~ 帐户的 home 目录
算是个常见的符号，代表使用者的 home 目录：cd ~；也可以直接在符号后加上某帐户的名称：cd ~user或者当成是路径的一部份：~/bin
~+ 当前的工作目录，这个符号代表当前的工作目录，她和内建指令 pwd的作用是相同的。
# echo ~+/var/log
~- 上次的工作目录，这个符号代表上次的工作目录。
# echo ~-/etc/httpd/logs

; 分号 (Command separator)
在 shell 中，担任\"连续指令\"功能的符号就是\"分号\"。譬如以下的例子：cd ~/backup ; mkdir startup ;cp ~/.* startup/.

;; 连续分号 (Terminator)
专用在 case 的选项，担任 Terminator 的角色。
case \"$fop\" inhelp) echo \"Usage: Command -help -version filename\";;version) echo \"version 0.1\" ;;esac

. 逗号 (dot,就是“点”)
在 shell 中，使用者应该都清楚，一个 dot 代表当前目录，两个 dot 代表上层目录。
CDPATH=.:~:/home:/home/web:/var:/usr/local
在上行 CDPATH 的设定中，等号后的 dot 代表的就是当前目录的意思。
如果档案名称以 dot 开头，该档案就属特殊档案，用 ls 指令必须加上 -a 选项才会显示。除此之外，在 regularexpression 中，一个 dot 代表匹配一个字元。

'string' 单引号 (single quote)
被单引号用括住的内容，将被视为单一字串。在引号内的代表变数的$符号，没有作用，也就是说，他被视为一般符号处理，防止任何变量替换。
heyyou=homeecho '$heyyou' # We get $heyyou

\"string\" 双引号 (double quote)
被双引号用括住的内容，将被视为单一字串。它防止通配符扩展，但允许变量扩展。这点与单引数的处理方式不同。
heyyou=homeecho \"$heyyou\" # We get home

`command` 倒引号 (backticks)
在前面的单双引号，括住的是字串，但如果该字串是一列命令列，会怎样？答案是不会执行。要处理这种情况，我们得用倒单引号来做。
fdv=`date +%F`echo \"Today $fdv\"
在倒引号内的 date +%F 会被视为指令，执行的结果会带入 fdv 变数中。

, 逗点 (comma，标点中的逗号)
这个符号常运用在运算当中当做\"区隔\"用途。如下例
#!/bin/bashlet \"t1 = ((a = 5 + 3, b = 7 - 1, c = 15 / 3))\"echo \"t1= $t1, a = $a, b = $b\"

/ 斜线 (forward slash)
在路径表示时，代表目录。
cd /etc/rc.dcd ../..cd /
通常单一的 / 代表 root 根目录的意思；在四则运算中，代表除法的符号。
let \"num1 = ((a = 10 / 2, b = 25 / 5))\"

\\ 倒斜线
在交互模式下的escape 字元，有几个作用；放在指令前，有取消 aliases的作用；放在特殊符号前，则该特殊符号的作用消失；放在指令的最末端，表示指令连接下一行。
# type rmrm is aliased to `rm -i'# \\rm ./*.log
上例，我在 rm 指令前加上 escape 字元，作用是暂时取消别名的功能，将 rm 指令还原。
# bkdir=/home# echo \"Backup dir, \\$bkdir = $bkdir\"Backup dir,$bkdir = /home
上例 echo 内的 \\$bkdir，escape 将 $ 变数的功能取消了，因此，会输出 $bkdir，而第二个 $bkdir则会输出变数的内容 /home。

| 管道 (pipeline)
pipeline 是 UNIX 系统，基础且重要的观念。连结上个指令的标准输出，做为下个指令的标准输入。
who | wc -l
善用这个观念，对精简 script 有相当的帮助。

! 惊叹号(negate or reverse)
通常它代表反逻辑的作用，譬如条件侦测中，用 != 来代表\"不等于\"
if [ \"$?\" != 0 ]thenecho \"Executes error\"exit 1fi
在规则表达式中她担任 \"反逻辑\" 的角色
ls a[!0-9]
上例，代表显示除了a0, a1 .... a9 这几个文件的其他文件。

: 冒号
在 bash 中，这是一个内建指令：\"什么事都不干\"，但返回状态值 0。
:
echo $? # 回应为 0
: > f.$$
上面这一行，相当于 cat /dev/null >f.$$。不仅写法简短了，而且执行效率也好上许多。
有时，也会出现以下这类的用法
: ${HOSTNAME?} ${USER?} ${MAIL?}
这行的作用是，检查这些环境变数是否已设置，没有设置的将会以标准错误显示错误讯息。像这种检查如果使用类似 test 或 if这类的做法，基本上也可以处理，但都比不上上例的简洁与效率。

? 问号 (wild card)
在文件名扩展(Filename expansion)上扮演的角色是匹配一个任意的字元，但不包含 null 字元。
# ls a?a1
善用她的特点，可以做比较精确的档名匹配。

* 星号 (wild card)
相当常用的符号。在文件名扩展(Filename expansion)上，她用来代表任何字元，包含 null 字元。
# ls a*a a1 access_log
在运算时，它则代表 \"乘法\"。
let \"fmult=2*3\"
除了内建指令 let，还有一个关于运算的指令expr，星号在这里也担任\"乘法\"的角色。不过在使用上得小心，他的前面必须加上escape 字元。

** 次方运算
两个星号在运算时代表 \"次方\" 的意思。
let \"sus=2**3\"echo \"sus = $sus\" # sus = 8

$ 钱号(dollar sign)
变量替换(Variable Substitution)的代表符号。
vrs=123echo \"vrs = $vrs\" # vrs = 123
另外，在 Regular Expressions 里被定义为 \"行\" 的最末端 (end-of-line)。这个常用在grep、sed、awk 以及 vim(vi) 当中。

${} 变量的正规表达式
bash 对 ${} 定义了不少用法。以下是取自线上说明的表列
${parameter:-word} ${parameter:=word} ${parameter:?word} ${parameter:+word} ${parameterffset} ${parameterffset:length} ${!prefix*} ${#parameter} ${parameter#word} ${parameter##word} ${parameter%word} ${parameter%%word} ${parameter/pattern/string} ${parameter//pattern/string}

$*
$* 引用script的执行引用变量，引用参数的算法与一般指令相同，指令本身为0，其后为1，然后依此类推。引用变量的代表方式如下：
$0, $1, $2, $3, $4, $5, $6, $7, $8, $9, ${10}, ${11}.....
个位数的，可直接使用数字，但两位数以上，则必须使用 {} 符号来括住。
$* 则是代表所有引用变量的符号。使用时，得视情况加上双引号。
echo \"$*\"
还有一个与 $* 具有相同作用的符号，但效用与处理方式略为不同的符号。

$@
$@ 与 $* 具有相同作用的符号，不过她们两者有一个不同点。
符号 $* 将所有的引用变量视为一个整体。但符号 $@ 则仍旧保留每个引用变量的区段观念。

$#
这也是与引用变量相关的符号，她的作用是告诉你，引用变量的总数量是多少。
echo \"$#\"

$? 状态值 (status variable)
一般来说，UNIX(linux) 系统的进程以执行系统调用exit()来结束的。这个回传值就是status值。回传给父进程，用来检查子进程的执行状态。
一般指令程序倘若执行成功，其回传值为 0；失败为 1。
tar cvfz dfbackup.tar.gz /home/user > /dev/nullecho\"$?\"$$
由于进程的ID是唯一的，所以在同一个时间，不可能有重复性的 PID。有时，script会需要产生临时文件，用来存放必要的资料。而此script亦有可能在同一时间被使用者们使用。在这种情况下，固定文件名在写法上就显的不可靠。唯有产生动态文件名，才能符合需要。符号$$或许可以符合这种需求。它代表当前shell 的 PID。
echo \"$HOSTNAME, $USER, $MAIL\" > ftmp.$$
使用它来作为文件名的一部份，可以避免在同一时间，产生相同文件名的覆盖现象。
ps: 基本上，系统会回收执行完毕的 PID，然后再次依需要分配使用。所以 script 即使临时文件是使用动态档名的写法，如果script 执行完毕后仍不加以清除，会产生其他问题。

( ) 指令群组 (command group)
用括号将一串连续指令括起来，这种用法对 shell 来说，称为指令群组。如下面的例子：(cd ~ ; vcgh=`pwd` ;echo $vcgh)，指令群组有一个特性，shell会以产生 subshell来执行这组指令。因此，在其中所定义的变数，仅作用于指令群组本身。我们来看个例子
# cat ftmp-01#!/bin/basha=fsh(a=incg ; echo -e \"\\n $a \\n\")echo $a#./ftmp-01incgfsh
除了上述的指令群组，括号也用在 array 变数的定义上；另外也应用在其他可能需要加上escape字元才能使用的场合，如运算式。

(( ))
这组符号的作用与 let 指令相似，用在算数运算上，是 bash 的内建功能。所以，在执行效率上会比使用 let指令要好许多。
#!/bin/bash(( a = 10 ))echo -e \"inital value, a = $a\\n\"(( a++))echo \"after a++, a = $a\"

{ } 大括号 (Block of code)
有时候 script 当中会出现，大括号中会夹着一段或几段以\"分号\"做结尾的指令或变数设定。
# cat ftmp-02#!/bin/basha=fsh{a=inbc ; echo -e \"\\n $a \\n\"}echo $a#./ftmp-02inbcinbc
这种用法与上面介绍的指令群组非常相似，但有个不同点，它在当前的 shell 执行，不会产生 subshell。
大括号也被运用在 \"函数\" 的功能上。广义地说，单纯只使用大括号时，作用就像是个没有指定名称的函数一般。因此，这样写 script也是相当好的一件事。尤其对输出输入的重导向上，这个做法可精简 script 的复杂度。

此外，大括号还有另一种用法，如下
{xx,yy,zz,...}
这种大括号的组合，常用在字串的组合上，来看个例子
mkdir {userA,userB,userC}-{home,bin,data}
我们得到 userA-home, userA-bin, userA-data, userB-home, userB-bin,userB-data, userC-home, userC-bin,userC-data，这几个目录。这组符号在适用性上相当广泛。能加以善用的话，回报是精简与效率。像下面的例子
chown root /usr/{ucb/{ex,edit},lib/{ex?.?*,how_ex}}
如果不是因为支援这种用法，我们得写几行重复几次呀！

[ ] 中括号
常出现在流程控制中，扮演括住判断式的作用。if [ \"$?\" != 0 ]thenecho \"Executes error\"exit1fi
这个符号在正则表达式中担任类似 \"范围\" 或 \"集合\" 的角色
rm -r 200[1234]

上例，代表删除 2001, 2002, 2003, 2004 等目录的意思。

二：

格式: sed -i "s/查找字段/替换字段/g" `grep 查找字段 -rl 路径`

　　linux sed 批量替换多个文件中的字符串

　　sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir`

　　例如：替换/home下所有文件中的www.admin99.net为admin99.net

　　sed -i "s/www.admin99.net/admin99.net/g" `grep www.admin99.net -rl /home`

　　exp:sed -i "s/shabi/$/g" `grep shabi -rl ./`

三：常用变量

1 shell变量基础

shell变量是一种很“弱”的变量，默认情况下，一个变量保存一个串，shell不关心这个串是什么含义。所以若要进行数学运算，必须使用一些命令例如let、declare、expr、双括号等。shell变量可分为两类：局部变量和环境变量。局部变量只在创建它们的shell中可用。而环境变量则可以在创建它们的shell及其派生出来的任意子进程中使用。有些变量是用户创建的，其他的则是专用shell变量。变量名必须以字母或下划线字符开头。其余的字符可以是字母、数字(0~9)或下划线字符。任何其他的字符都标志着变量名的终止。名字是大小写敏感的。给变量赋值时，等号周围不能有任何空白符。为了给变量赋空值，可以在等号后跟一个换行符。用set命令可以查看所有的变量，unset var命令可以清除变量var，var相当于没有定义过。readonly var可以把var变为只读变量，定义之后不能对var进行任何更改。对shell变量的引用方式很多，用这些方式可以方便的获取shell变量的值，变量值的长度，变量的一个字串，变量被部分替换后的值等等。shell变量常见引用方式如下：

2 环境变量

环境变量的定义方法如下：

var=value

export var

shell在初始化的时候会在执行profile等初始化脚本，脚本中定义了一些环境变量，这些变量会在创建子进程时传递给子进程。

用env命令可以查看当前的环境变量。常用的系统环境变量如下：

_(下划线) 上一条命令的最后一个参数

BASH 展开为调用bash实例时使用的全路径名

CDPATH cd命令的搜索路径。它是以冒号分隔的目录列表，shell通过它来搜索cd命令指定的目标目录。例如.:~:/usr

EDITOR 内置编辑器emacs、gmacs或vi的路径名

ENV 每一个新的bash shell(包括脚本)启动时执行的环境文件。通常赋予这个变量的文件名是.bashrc。

EUID 展开为在shell启动时被初始化的当前用户的有效ID

GROUPS 当前用户所属的组

HISTFILE 指定保存命令行历史的文件。默认值是~/.bash_history。如果被复位，交互式shell退出时将不保存命令行历史

HISTSIZE 记录在命令行历史文件中的命令数。默认是500

HOME 主目录。未指定目录时，cd命令将转向该目录

IFS 内部字段分隔符，一般是空格符、制表符和换行符，用于由命令替换，循环结构中的表和读取的输入产生的词的字段划分

LANG 用来为没有以LC_开头的变量明确选取的种类确定locale类

OLDPWD 前一个工作目录

PATH 命令搜索路径。一个由冒号分隔的目录列表，shell用它来搜索命令，一个普通值为 /usr/gnu/bin:/usr/local/bin:/usr/ucb:/usr/bin

PPID 父进程的进程ID

PS1 主提示符串，默认值是$

PS2 次提示符串，默认值是>

PS3 与select命令一起使用的选择提示符串，默认值是#?

PS4 当开启追踪时使用的调试提示符串，默认值是+。追踪可以用set –x开启

PWD 当前工作目录。由cd设置

RANDOM 每次引用该变量，就产生一个随机整数。随机数序列可以通过给RANDOM赋值来初始化。如果RANDOM被复位，即使随后再设置，它也将失去特定的属性

REPLY 当没有给read提供参数时设置

SHELL 当调用shell时，它扫描环境变量以寻找该名字。shell给PATH、PS1、PS2、MAILCHECK和IFS设置默认值。HOME和MAIL由login(1)设置

SHELLOPTS 包含一列开启的shell选项，比如braceexpand、hashall、monitor等

UID 展开为当前用户的用户ID，在shell启动时初始化

3 数值变量

shell中默认把变量值当作字符串，例如：

age=22

age=${age}+1

echo ${age}

输出结果为22+1，而不是23，因为shell将其解释为字符串，而不是数学运算。

可以用let命令使其进行数学运算，例如：

let age=${age}+1

也可以用declare把变量定义为整型。例如：

declare -i age=22

这里就用 -i 选项把age定义为整型的了。此后每次运算，都把age的右值识别为算术表达式或数字。

4 数组

在shell中可以使用数组，例如：

array[0]=0

array[1]=1

array[2]=2

则array就是一个数组，也可以这样给数组初始化：

array=(0 1 2) // 元素之间以空格分隔

可以通过 ${array[$i]}来访问array中某个元素，${array[*]} 的返回值即数组的所有元素组成的串，${#array[*]} 的返回值即数组的元素个数，${array[*]:0:2} 返回第一个和第二个元素组成的串。0表示开始的位置，2表示要返回的元素个数，开始位置可以为0-2(0减去2)之类的，表示从倒数第二个元素开始。

下面写个稍微复杂点的例子：

 
   1 
   #!/bin/ 
   bash 
  
 
   2 
   for 
   ((i= 
   0 
   ; i< 
   100 
   ; i++ 
   )) 
  
 
   3 
   do 
   4 
   array[$i]= 
   $i 
  
 
   5 
   done 
   6 
   for 
   ((i= 
   0 
   ; i< 
   100 
   ; i++ 
   )) 
  
 
   7 
   do 
   8 
   echo 
   ${array[$i]} 
  
 
   9 
   done 
  

如果要使用二维数组甚至三维数组该怎么实现呢，那就需要用eval命令来模拟数组的功能了。

eval命令的作用是扫描命令两次再执行，如果不使用eval，只扫描一次，然后执行。看个例子：

root@suse:~$ name=Barry

root@suse:~$ $name=hello

Barry=hello: command not found

为什么第二句给Barry变量赋值会出错呢？从报错信息可以发现shell并没有识别这是个赋值语句，而是把Barry=hello当作一个命令来执行，当然会报错。为什么不能识别这是赋值语句呢？第一次扫描时，因为扫描到$符号，所以不能把这句当作赋值语句，赋值语句的左边总是一个变量名，而不应该是$开头的。所以第一次扫描仅仅识别了$name变量，并做了替换，而并没有认识到赋值语句。

如果使用eval $name=hello呢？

root@suse:~$ name=Barry

root@suse:~$ $name=hello

Barry=hello: command not found

root@suse:~$ eval $name=hello

root@suse:~$ echo $Barry

hello

可见使用了eval之后，对 $name=hello 第一次扫描替换了$name，没有识别赋值语句，第二次扫描识别是赋值语句，然后执行。现在大约可以想到怎样用eval实现二维数组了。

下面实现的二维数组每一行代表一个人的信息记录，包括姓名，年龄。

 
   1 
   for 
   ((i= 
   0 
   ; i< 
   2 
   ; i++ 
   )) 
  
 
   2 
   do 
    3 
   for 
   ((j= 
   0 
   ; j< 
   2 
   ; j++ 
   )) 
  
 
   4 
   do 
  
 
   5 
   read 
    man 
   $i$j 
  
 
   6 
   done 
   7 
   done 
   8 
   echo 
   " 
   next print: 
   " 
   9 
   for 
   ((i= 
   0 
   ; i< 
   2 
   ; i++ 
   )) 
  
 
   10 
   do 
   11 
   for 
   ((j= 
   0 
   ; j< 
   2 
   ; j++ 
   )) 
  
 
   12 
   do 
  
 
   13 
   eval 
    echo 
   -n 
    " 
   \$man$i$j: 
   " 
   14 
   done 
   15 
   printf 
    " 
   \n 
   " 
   16 
   done 
  