linux开发之Shell脚本

Linux 的 Shell 种类众多，常见的有：
Bourne Shell（/usr/bin/sh或/bin/sh）
Bourne Again Shell（/bin/bash）
C Shell（/usr/bin/csh）
K Shell（/usr/bin/ksh）
Shell for Root（/sbin/sh）
一般情况下并不区分 Bourne Shell 和 Bourne Again Shell，所以像 #!/bin/sh，它同样也可以改为 #!/bin/bash，本文讲解是 Bash

1、基本内容讲述

格式未：XXX.sh
脚本第一行：#!XXXXXX，例如#!/bin/bash，#! 是一个约定的标记，标明Shell种类
运行 Shell 脚本有两种方法：./XXX.sh或者/bin/bash XXX.sh

1.1、echo

echo 命令用于向窗口输出文本

1.1.1、显示转义字符

-n 不换行输出
-e 启用反斜线转义解释
-E 禁用反斜线转义解释（默认）

\a 发出警告声；
\b 删除前一个字符；
\c 最后不加上换行符号；
\f 换行但光标仍旧停留在原来的位置；
\n 换行且光标移至行首；
\r 光标移至行首，但不换行；
\t 插入tab；
\v 与\f相同；
\ 插入\字符；
\nnn 插入nnn（八进制）所代表的ASCII字符；
–help 显示帮助
–version 显示版本信息

echo "\"It is a test\""
#输出 "It is a test"

echo -e "${color}txt${res}"

echo -e "OK! \nIt is a test"

1.1.2、显示变量

read 命令从标准输入中读取一行,并把输入行的每个字段的值指定给 shell 变量

#!/bin/sh
read name 
echo "$name It is a test"

1.1.3、重定向到文件

echo "It is a test" > myfile

1.1.4、原样输出

使用单引号

echo '$name\"'
#输出：$name\"

1.1.5、显示命令执行结果

echo `date`
#输出Thu Jul 24 10:08:46 CST 2014

注意： 这里使用的是反引号 `, 而不是单引号 ’

1.2、$符号

1.2.1、引用变量

#直接来进行引用，以及包括循环变量
x=1024
echo $x   
#输出：1024

#利用双引号 " 将括起来的字符串支持变量插值
echo "x = $x"
#输出：x = 1024

# ${ } 作为单词边界
echo "x = ${x}xy"
#输出：x = 1024xy

# ${#} 获取变量字符串长度
s=helloworld
echo "s.length = ${#s}"
#输出s.length = 10

1.2.2、引用脚本或函数参数

#引用脚本的方式，1 表示 Shell 脚本文件名，n 从 2 开始表示第 n 个参数，第 2 个参数是 $2；
echo 'echo $1 $2 $3' > ping.sh
cat ping.sh
#输出：echo $1 $2 $3
sh ping.sh 1 2 3
#输出：1 2 3

#单引号 '' 括起来的字符串不会进行插值，并使用 $# 获取脚本或函数参数的个数
echo 'echo $#' > ping.sh
sh ping.sh 1 2 3
#输出：3

1.2.3、上条命令的返回值

使用 $? 上条命令的返回值。
0：表示没有错误，其他任何数值：表示有错误。

true 1024
echo $?
#输出：0
false 2048
echo $?
#输出：1

1.2.4、执行并获取命令输出

$() 的功能等同于反引号

echo `date`
#输出：2016年 06月 05日 星期日 12:39:08 CST
echo $(date)
#输出：2016年 06月 05日 星期日 12:39:34 CST

1.2.5、表达式求值

使用 []对表达式进行求值，与命令expr不同的是：[ ] 用于插值，则 expr 用于将值进行输出

echo $[1024 + 2048]
#输出：3072
expr 1024 + 2048
#输出：3072
a=1024
b=2048
echo $[ a + b ]
#输出：3072

1.2.6、获取当前进程ID

$$ 来进行获取当前进程的 ID 号

echo $$
#输出：55580

1.2.7、后台运行的最后一个进程 ID

使用 $! 来进行获取后台运行的最后一个进程 ID。
在命令结尾使用 & 可创建后台进程。
执行命令 kill !然后在输入echo! 将终止该 ping.sh 脚本。

tail -f /root/ping.sh &
#输出：[2] 55848
echo $!
#输出：55848
kill $!
echo $!
#输出：55848
#输出：[2]+ 已终止 tail -f /root/ping.sh

1.2.8、获取 Shell 选项

使用 $- 来进行获取当前 Shell 的选项

echo $-
#输出：himBH

1.3、基本运算符

原生bash不支持简单的数学运算，可以通过awk 、expr等来实现
expr 是一款表达式计算工具，使用它能完成表达式的求值操作
原文参考

#!/bin/bash
val=`expr 2 + 2`   
echo "两数之和为 : $val"
#输出：两数之和为 : 4

#注意
#使用的是反引号 ` 而不是单引号 '
#表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2

1.3.1、算数运算符

运算符	说明	举例
+	加法	expr $a + $b 结果为 30
-	减法	expr $a - $b 结果为 -10
*	乘法，前边必须加反斜杠	expr $a \* $b 结果为 200
/	除法	expr $b / $a 结果为 2
%	取余	expr $b % $a 结果为 0
=	赋值	a=$b 将把变量 b 的值赋给 a
==	相等，用于比较两个数字，相同则返回 true	[ $a == $b ] 返回 false
!=	不相等,用于比较两个数字，不相同则返回 true	[ $a != $b ] 返回 true

注意：
1）条件表达式要放在方括号之间，并且要有空格，例如: [$a==$b] 是错误的，必须写成 [ $a == $b ]这样

2）在 MAC 中 shell 的 expr 语法是：$((表达式))，此处表达式中的 “*” 不需要转义符号 “”

1.3.2、关系运算符

只支持数字，不支持字符串，除非字符串的值是数字

运算符	说明	举例
-eq	检测两个数是否相等，相等返回 true	[ $a -eq $b ] 返回 false
-ne	检测两个数是否不相等，不相等返回 true	[ $a -ne $b ] 返回 true
-gt	检测左边的数是否大于右边的，如果是，则返回 true	[ $a -gt $b ] 返回 false
-lt	检测左边的数是否小于右边的，如果是，则返回 true	[ $a -lt $b ] 返回 true
-ge	检测左边的数是否大于等于右边的，如果是，则返回 true	[ $a -ge $b ] 返回 false
-le	检测左边的数是否小于等于右边的，如果是，则返回 true	[ $a -le $b ] 返回 true

1.3.3、布尔运算符

运算符	说明	举例
!	非运算，表达式为 true 则返回 false，否则返回 true	[ ! false ] 返回 true
-o	或运算，有一个表达式为 true 则返回 true	[ $a -lt 20 -o $b -gt 100 ] 返回 true
-a	与运算，两个表达式都为 true 才返回 true	[ $a -lt 20 -a $b -gt 100 ] 返回 false

1.3.4、逻辑运算符

运算符	说明	举例
&&	逻辑的 AND	[[ $a -lt 100 && $b -gt 100 ]] 返回 false

|| 逻辑的 OR [[ $a -lt 100 || $b -gt 100 ]] 返回 true

1.3.5、字符串运算符

运算符	说明	举例
=	检测两个字符串是否相等，相等返回 true	[ $a = $b ] 返回 false
!=	检测两个字符串是否不相等，不相等返回 true	[ $a != $b ] 返回 true
-z	检测字符串长度是否为0，为0返回 true	[ -z $a ] 返回 false
-n	检测字符串长度是否不为 0，不为 0 返回 true	[ -n “$a” ] 返回 true
$	检测字符串是否为空，不为空返回 true	[ $a ] 返回 true

1.3.6、文件测试运算符

用于检测 Unix 文件的各种属性

运算符	说明	举例
-b file	检测文件是否是块设备文件，如果是，则返回 true	[ -b $file ] 返回 false
-c file	检测文件是否是字符设备文件，如果是，则返回 true	[ -c $file ] 返回 false
-d file	检测文件是否是目录，如果是，则返回 true	[ -d $file ] 返回 false
-f file	检测文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true	[ -f $file ] 返回 true
-g file	检测文件是否设置了 SGID 位，如果是，则返回 true	[ -g $file ] 返回 false
-k file	检测文件是否设置了粘着位(Sticky Bit)，如果是，则返回 true	[ -k $file ] 返回 false
-p file	检测文件是否是有名管道，如果是，则返回 true	[ -p $file ] 返回 false
-u file	检测文件是否设置了 SUID 位，如果是，则返回 true	[ -u $file ] 返回 false
-r file	检测文件是否可读，如果是，则返回 true	[ -r $file ] 返回 true
-w file	检测文件是否可写，如果是，则返回 true	[ -w $file ] 返回 true
-x file	检测文件是否可执行，如果是，则返回 true	[ -x $file ] 返回 true
-s file	检测文件是否为空（文件大小是否大于0），不为空返回 true	[ -s $file ] 返回 true
-e file	检测文件（包括目录）是否存在，如果是，则返回 true	[ -e $file ] 返回 true
-S file	判断某文件是否 socket
-L file	检测文件是否存在并且是一个符号链接

1.4、流程控制

1.4.1、if语句

1）if语句

if condition
then
    command1 
    command2
    ...
    commandN 
fi
#或者如下
if [ $(ps -ef | grep -c "ssh") -gt 1 ]; then echo "true"; fi

2）if-else语句

if condition
then
    command1 
    command2
    ...
    commandN
else
    command
fi

3）if else-if else语句

if condition1
then
    command1
elif condition2 
then 
    command2
else
    commandN
fi

4)if test用法

num1=$[2*3]
num2=$[1+5]
if test $[num1] -eq $[num2]
then
    echo '两个数字相等!'
else
    echo '两个数字不相等!'
fi

1.4.2、test命令

test 命令用于检查某个条件是否成立，它可以进行数值、字符和文件三个方面的测试

参数	说明
-eq	等于则为真
-ne	不等于则为真
-gt	大于则为真
-ge	大于等于则为真
-lt	小于则为真
-le	小于等于则为真

1.4.3、for循环

原文参考

for var in item1 item2 ... itemN
do
    command1
    command2
    ...
    commandN
done
#或者
for var in item1 item2 ... itemN; do command1; command2… done;

当变量值在列表里，for 循环即执行一次所有命令，使用变量名获取列表中的当前取值。命令可为任何有效的 shell 命令和语句。in 列表可以包含替换、字符串和文件名。
in列表是可选的，如果不用它，for循环使用命令行的位置参数

1.4.4、while 语句

循环用于不断执行一系列命令，也用于从输入文件中读取数据

while condition
do
    command
done

1）无限循环

while :
do
    command
done
#或者
while true
do
    command
done
#或者
for (( ; ; ))

1.4.5、until 循环

until 循环执行一系列命令直至条件为 true 时停止。
until 循环与 while 循环在处理方式上刚好相反
一般 while 循环优于 until 循环，但在某些时候—也只是极少数情况下，until 循环更加有用

until condition
do
    command
done

1.4.6、case … esac语句

类似C语言中的 switch … case 语句类似

case 值 in
模式1)
    command1
    command2
    ...
    commandN
    ;;
模式2）
    command1
    command2
    ...
    commandN
    ;;
esac

1.4.7、跳出循环

break：break命令允许跳出所有循环（终止执行后面的所有循环）
continue：它不会跳出所有循环，仅仅跳出当前循环

1.5、变量

1）局部变量：在脚本或命令中定义，仅在当前shell实例中有效，其他shell启动的程序不能访问局部变量。
2）环境变量：所有的程序，包括shell启动的程序，都能访问环境变量，有些程序需要环境变量来保证其正常运行。必要的时候shell脚本也可以定义环境变量。
3）shell变量：是由shell程序设置的特殊变量。shell变量中有一部分是环境变量，有一部分是局部变量，这些变量保证了shell的正常运行

定义变量时，变量名不加$符号
变量名的命名须遵循如下规则：

1）变量名和等号之间不能有空格
2）命名只能使用英文字母，数字和下划线，首个字符不能以数字开头
3）中间不能有空格，可以使用下划线 _
4）不能使用标点符号
5）不能使用bash里的关键字（可用help命令查看保留关键字）

1.5.1、语句赋值

for file in `ls /etc`
或
for file in $(ls /etc)

1.5.2、使用变量

# $符号使用已经定义的变量名
your_name="qinjx"
echo $your_name
echo ${your_name}

# 变量名外面的花括号是可选的，加不加都行，加花括号是为了帮助解释器识别变量的边界
for skill in Ada Coffe Action Java; do
    echo "I am good at ${skill}Script"
done

#已定义的变量，可以被重新定义
your_name="tom"
echo $your_name
your_name="alibaba"
echo $your_name

注意：推荐给所有变量加上花括号

1.5.3、只读变量

使用 readonly 命令可以将变量定义为只读变量，只读变量的值不能被改变

#!/bin/bash
myUrl="https://www.google.com"
readonly myUrl
myUrl="https://www.runoob.com"
#运行结果如下
# /bin/sh: NAME: This variable is read only.

1.5.4、删除变量

unset variable_name
注：变量被删除后不能再次使用。unset 命令不能删除只读变量

1.6、字符串

字符串可以用单引号，也可以用双引号，也可以不用引号

str='this is a string'

注：
1）单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的；
2）单引号字串中不能出现单独一个的单引号（对单引号使用转义符后也不行），但可成对出现，作为字符串拼接使用

your_name="runoob"
str="Hello, I know you are \"$your_name\"! \n"
echo -e $str
#输出
# Hello, I know you are "runoob"! 

双引号里可以有变量、有转义字符

1.6.1、拼接字符串举例

your_name="runoob"
# 双引号拼接
greeting="hello, "$your_name" !"
greeting_1="hello, ${your_name} !"
echo $greeting  $greeting_1
#输出： hello, runoob ! hello, runoob !

# 单引号拼接
greeting_2='hello, '$your_name' !'
greeting_3='hello, ${your_name} !'
echo $greeting_2  $greeting_3
#输出： hello, runoob ! hello, ${your_name} !

1.6.2、字符串处理

1）提取字符串长度

string="abcd"
echo ${#string} 
#输出 4

2）提取子字符串

string="runoob is a great site"
echo ${string:1:4} 
# 输出 unoo

注意：第一个字符的索引值为 0

3）查找子字符串

#查找io位置
string="runoob is a great site"
echo `expr index "$string" io`  
# 输出 4
# 以上脚本中 ` 是反引号

1.7、数组

bash支持一维数组（不支持多维数组），并且没有限定数组的大小
用括号来表示数组，数组元素用"空格"符号分割开

# 格式:数组名=(值1 值2 ... 值n)
array_name=(value0 value1 value2 value3)
#或者
array_name=(
value0
value1
value2
value3
)
# 单独定义数组的各个分量
array_name[0]=value0
array_name[1]=value1
array_name[n]=valuen
#可以不使用连续的下标，而且下标的范围没有限制

1.7.1、读取数组

一般格式：${数组名[下标]}
使用 @ 符号可以获取数组中的所有元素：echo ${array_name[@]}

1.7.2、获取长度

类似字符串长度获取

# 取得数组元素的个数
length=${#array_name[@]}
# 或者
length=${#array_name[*]}
# 取得数组单个元素的长度
lengthn=${#array_name[n]}

1.8、注释

单行：使用#号
多行：

: << EOF
注释内容...
注释内容...
注释内容...
EOF
#或者使用其他符号
: << '
注释内容...
注释内容...
注释内容...
'

: << !
注释内容...
注释内容...
注释内容...
!

1.9、传参

向脚本传递参数，脚本内获取参数的格式为：$n。n 代表一个数字，1 为执行脚本的第一个参数，2 为执行脚本的第二个参数，以此类推……

几个特殊字符用来处理参数

参数	说明
$#	传递到脚本的参数个数
$*	以一个单字符串显示所有向脚本传递的参数。如"$*“用「”」括起来的情况、以"$1 $2 … $n"的形式输出所有参数
$$	脚本运行的当前进程ID号
$!	后台运行的最后一个进程的ID号
$@	与$\ast 相同，但是使用时加引号，并在引号中返回每个参数。如"$@“用「”」括起来的情况、以"$1" “$2"\dots "$n” 的形式输出所有参数
$-	显示Shell使用的当前选项，与set命令功能相同
$?	显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误

$* 与 $@ 区别：
相同点：都是引用所有参数。
不同点：只有在双引号中体现出来。假设在脚本运行时写了三个参数 1、2、3，，则 " * " 等价于 “1 2 3”（传递了一个参数），而 “@” 等价于 “1” “2” “3”（传递了三个参数）。

#!/bin/bash······`··`······`··`·``··········`··`·····`·``····`·``·`·`····`·`·`·`·`·`··`·`·`·`·`··`·`·`·`·`···`··`·`····`······
echo "-- \$* 演示 ---"
for i in "$*"; do
    echo $i
done

echo "-- \$@ 演示 ---"
for i in "$@"; do
    echo $i
done
#执行
./test.sh 1 2 3
#输出
-- $* 演示 ---
1 2 3
-- $@ 演示 ---
1
2
3

1.10、printf

printf 使用引用文本或空格分隔的参数，外面可以在 printf 中使用格式化字符串，还可以制定字符串的宽度、左右对齐方式等

printf  format-string  [arguments...]
#format-string: 为格式控制字符串
#arguments: 为参数列表

#!/bin/bash 
printf "%-10s %-8s %-4s\n" 姓名 性别 体重kg  
printf "%-10s %-8s %-4.2f\n" 郭靖 男 66.1234
printf "%-10s %-8s %-4.2f\n" 杨过 男 48.6543
printf "%-10s %-8s %-4.2f\n" 郭芙 女 47.9876

:<<EOF
输出
姓名     性别   体重kg
郭靖     男      66.12
杨过     男      48.65
郭芙     女      47.99
EOF

转义字符

字符	说明
\a	警告字符，通常为ASCII的BEL字符
\b	后退
\c	抑制（不显示）输出结果中任何结尾的换行字符（只在%b格式指示符控制下的参数字符串中有效），而且，任何留在参数里的字符、任何接下来的参数以及任何留在格式字符串中的字符，都被忽略
\f	换页（formfeed）
\n	换行
\r	回车（Carriage return）
\t	水平制表符
\v	垂直制表符
\	一个字面上的反斜杠字符
\ddd	表示1到3位数八进制值的字符。仅在格式字符串中有效
\0ddd	表示1到3位的八进制值字符

1.11、函数

格式：

[ function ] funname [()]
{
    action;
    [return int;]
}

1）可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。
2）参数返回，可以显示加：return 返回，如果不加，将以最后一条命令运行结果，作为返回值。 return后跟数值n(0-255）

#!/bin/bash

funWithReturn(){
    echo "这个函数会对输入的两个数字进行相加运算..."
    echo "输入第一个数字: "
    read aNum
    echo "输入第二个数字: "
    read anotherNum
    echo "两个数字分别为 $aNum 和 $anotherNum !"
    return $(($aNum+$anotherNum))
}
funWithReturn
echo "输入的两个数字之和为 $? !"

#输出
#这个函数会对输入的两个数字进行相加运算...
#输入第一个数字: 
#1
#输入第二个数字: 
#2
#两个数字分别为 1 和 2 !
#输入的两个数字之和为 3 !

注意：
1）所有函数在使用前必须定义。这意味着必须将函数放在脚本开始部分，直至shell解释器首次发现它时，才可以使用。
2）调用函数仅使用其函数名即可。
3）函数返回值在调用该函数后通过 $? 来获得。 仅对其上一条指令负责，一旦函数返回后其返回值没有立即保存入参数，那么其返回值将不再能通过 $? 。

2）函数与命令的执行结果可以作为条件语句使用。shell 语言中 0 代表 true，0 以外的值代表 false

1.12、输入/输出重定向

命令	说明
command > file	将输出重定向到 file
command < file	将输入重定向到 file
command >> file	将输出以追加的方式重定向到 file
n > file	将文件描述符为 n 的文件重定向到 file
n >> file	将文件描述符为 n 的文件以追加的方式重定向到 file
n >& m	将输出文件 m 和 n 合并
n <& m	将输入文件 m 和 n 合并
<< tag	将开始标记 tag 和结束标记 tag 之间的内容作为输入

1.12.1、重定向深入讲解

一般情况下，每个 Unix/Linux 命令运行时都会打开三个文件：
标准输入文件(stdin)：stdin的文件描述符为0，Unix程序默认从stdin读取数据。
标准输出文件(stdout)：stdout 的文件描述符为1，Unix程序默认向stdout输出数据。
标准错误文件(stderr)：stderr的文件描述符为2，Unix程序会向stderr流中写入错误信息。
默认情况下，command > file 将 stdout 重定向到 file，command < file 将stdin 重定向到 file。

#stderr 重定向到 file，可以这样写
command 2>file

#stderr 追加到 file 文件末尾
command 2>>file

#将 stdout 和 stderr 合并后重定向到 file
command > file 2>&1
#或者
command >> file 2>&1

#对 stdin 和 stdout 都重定向，可以这样写
command < file1 >file2

1.12.2、Here Document

Shell 中的一种特殊的重定向方式，用来将输入重定向到一个交互式 Shell 脚本或程序

command << delimiter
    document
delimiter
#将两个 delimiter 之间的内容(document) 作为输入传递给 command

注意：
1）结尾的delimiter 一定要顶格写，前面不能有任何字符，后面也不能有任何字符，包括空格和 tab 缩进。
2）开始的delimiter前后的空格会被忽略掉。

dev/null 是一个特殊的文件，写入到它的内容都会被丢弃；如果尝试从该文件读取内容，那么什么也读不到。但是 /dev/null 文件非常有用，将命令的输出重定向到它，会起到"禁止输出"的效果

#屏蔽 stdout 和 stderr
command > /dev/null 2>&1

1.13、文件包含

. filename   # 注意点号(.)和文件名中间有一空格
#或
source filename

1.14、awk用法

更多参考
awk是一个强大的文本分析工具，在对文本文件的处理以及生成报表，awk是无可替代的。awk认为文本文件都是结构化的，它将每一个输入行定义为一个记录，行中的每个字符串定义为一个域(段)，域和域之间使用分割符分割。

1.15、grep用法

详细用法参考
一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。用于过滤/搜索的特定字符。可使用正则表达式能多种命令配合使用，使用上十分灵活

dmesg命令

dmesg（英文全称：display message）命令用于显示内核开机信息；dmesg命令使用详解

sysctl命令

被用于在内核运行时动态地修改内核的运行参数，可用的内核参数在目录/proc/sys中；命令详解

2、用法技巧