SHELL教程

主要为了做个记录，防止遗忘

基本入门

打印输出

echo

是Shell的一个内部指令，用于在屏幕上打印出指定的字符串。

read

命令行从输入设备读入内容

#!/bin/bash

echo "What is your name?"
read NAME #输入
echo "Hello, $NAME"

变量定义

定义变量

定义变量时，变量名不加美元符号（$），如

variableName="value"

注意，变量名和等号之间不能有空格，这可能和你熟悉的所有编程语言都不一样。有空格会出错。

变量使用

使用一个定义过的变量，只要在变量名前面加美元符号（$）即可，如：

your_name="lalal"
echo $your_name
echo ${your_name}

推荐给所有变量加上花括号，这是个好的编程习惯。

特殊变量

前面已经讲到，变量名只能包含数字、字母和下划线，因为某些包含其他字符的变量有特殊含义，这样的变量被称为特殊变量。

变量	含义
$0	当前脚本的文件名
$n	传递给脚本或函数的参数。n 是一个数字，表示第几个参数。例如，第一个参数是$1，第二个参数是$2。
$#	传递给脚本或函数的参数个数。
$*	传递给脚本或函数的所有参数。
$@	传递给脚本或函数的所有参数。被双引号(" ")包含时，与 $* 稍有不同
$?	上个命令的退出状态，或函数的返回值。
$$	当前Shell进程ID。对于 Shell 脚本，就是这些脚本所在的进程ID。

#!/bin/bash
echo "File Name: $0"
echo "First Parameter : $1"
echo "Second Parameter : $2"
echo "Quoted Values: $@"
echo "Quoted Values: $*"
echo "Total Number of Parameters : $#"

结果

$./test.sh Zara Ali
File Name : ./test.sh
First Parameter : Zara
Second Parameter : Ali
Quoted Values: Zara Ali
Quoted Values: Zara Ali
Total Number of Parameters : 2

$? 可以获取上一个命令的退出状态。所谓退出状态，就是上一个命令执行后的返回结果。

示例：

if [[ $? != 0 ]];then
  echo "error"
  exit 1;
fi

退出状态是一个数字，一般情况下，大部分命令执行成功会返回 0，失败返回 1。

不过，也有一些命令返回其他值，表示不同类型的错误。

转义字符

转义字符	含义
\\	      反斜杠
\a	      警报，响铃
\b		  退格（删除键）
\f	      换页(FF)，将当前位置移到下页开头
\n	      换行
\r	      回车
\t	      水平制表符（tab键） 
\v	      垂直制表符

命令替换

命令替换是指Shell可以先执行命令，将输出结果暂时保存，在适当的地方输出。

语法：

`command`

注意是反引号，不是单引号，这个键位于 Esc 键下方。

下面的例子中，将命令执行结果保存在变量中：

#!/bin/bash
DATE=`date`
echo "Date is $DATE"

运算符

算术运算符

原生bash不支持简单的数学运算，但是可以通过其他命令来实现，例如 awk 和 expr，expr 最常用。

expr 是一款表达式计算工具，使用它能完成表达式的求值操作。

# 命令行直接计算
expr 2 + 2   #4
expr 3 - 2   #1
expr 3 / 2   #1
expr 3 \* 2   #6

# 使用表达式
a=10
b=20
val=`expr $a + $b`
echo "a + b : $val"

注意：

• 表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2，这与我们熟悉的大多数编程语言不一样。
• 乘号(*)前边必须加反斜杠()才能实现乘法运算
• 完整的表达式要被 `包含，注意这个字符不是常用的单引号，在 Esc 键下边。

关系运算符

关系运算符只支持数字，不支持字符串，除非字符串的值是数字。

#!/bin/sh
a=10
b=20
if [ $a -eq $b ]
then
   echo "$a -eq $b : a is equal to b"
else
   echo "$a -eq $b: a is not equal to b"
fi

运算符	说明
-eq	检测两个数是否相等，相等返回 true。同算数运算符`==`
-ne	检测两个数是否相等，不相等返回 true
-gt	检测左边的数是否大于右边的，如果是，则返回 true。
-lt	检测左边的数是否小于右边的，如果是，则返回 true。
-ge	检测左边的数是否大等于右边的，如果是，则返回 true。
-le	检测左边的数是否小于等于右边的，如果是，则返回 true。

布尔运算符

运算符	说明
!	非运算，表达式为 true 则返回 false，否则返回 true。
-o	或运算(or)，有一个表达式为 true 则返回 true。
-a	与运算(and)，两个表达式都为 true 才返回 true。

字符串运算符

运算符	说明	举例
=	检测两个字符串是否相等，相等返回 true。	[ $a = $b ] 返回 false。
!=	检测两个字符串是否相等，不相等返回 true。	[ $a != $b ] 返回 true。
-z	检测字符串长度是否为0，为0返回 true。	[ -z $a ] 返回 false。
-n	检测字符串长度是否为0，不为0返回 true。	[ -n $a ] 返回 true。
str	检测字符串是否为空，不为空返回 true。	[ $a ] 返回 true。

文件测试运算符

文件测试运算符用于检测 Unix 文件的各种属性。

#!/bin/sh
file="/tmp/test.sh"

if [ -e $file ]
then
   echo "File exists"
else
   echo "File does not exist"
fi

文件测试运算符列表

操作符	说明	举例

-b file	检测文件是否是块设备文件，如果是，则返回 true。	[ -b $file ] 返回 false。

-c file	检测文件是否是字符设备文件，如果是，则返回 true。	[ -c $file ] 返回 false。

-d file	检测文件是否是目录，如果是，则返回 true。	[ -d $file ] 返回 false。

-f file	检测文件是否是普通文件（既不是目录，也不是设备文件），如果是，则返回 true。	[ -f $file ] 返回 true。

-g file	检测文件是否设置了 SGID 位，如果是，则返回 true。	[ -g $file ] 返回 false。

-k file	检测文件是否设置了粘着位(Sticky Bit)，如果是，则返回 true。	[ -k $file ] 返回 false。

-p file	检测文件是否是具名管道，如果是，则返回 true。	[ -p $file ] 返回 false。

-u file	检测文件是否设置了 SUID 位，如果是，则返回 true。	[ -u $file ] 返回 false。

-r file	检测文件是否可读，如果是，则返回 true。	[ -r $file ] 返回 true。

-w file	检测文件是否可写，如果是，则返回 true。	[ -w $file ] 返回 true。

-x file	检测文件是否可执行，如果是，则返回 true。	[ -x $file ] 返回 true。

-s file	检测文件是否为空（文件大小是否大于0），不为空返回 true。	[ -s $file ] 返回 true。

-e file	检测文件（包括目录）是否存在，如果是，则返回 true。	[ -e $file ] 返回 true。

字符串

字符串是shell编程中最常用最有用的数据类型（除了数字和字符串，也没啥其它类型好用了），字符串可以用单引号，也可以用双引号，也可以不用引号。单双引号的区别跟PHP类似：

单双引号的区别：

• 双引号里可以有变量，单引号则原样输出；
• 双引号里可以出现转义字符，单引号则原样输出；
• 单引号字串中不能出现单引号。

字符串操作

拼接字符串

#!/bin/bash

str1='i'
str2='love'
str3='you'

echo $str1 $str2 $str3
echo $str1$str2$str3
echo $str1,$str2,$str3

输出：

i love you
iloveyou
i,love,you

获取字符串长度

#!/bin/bash/

str='i love you'

echo ${#str}

# 输出：10

截取字符串

#!/bin/bash/

str='i love you'

echo ${str:1} # 从第1个截取到末尾。注意从0开始。
echo ${str:2:2} # 从第2个截取2个。
echo ${str:0} # 全部截取。
echo ${str:-3} # 负数无效，视为0。

输出：

love you
lo
i love you
i love you

查找字符串

#!/bin/bash/

str="i love you"

echo `expr index "$str" l`
echo `expr index "$str" you` #最后一个参数是字符，会对后面字符串每一个单独查找，返回最靠前的index
echo `expr index "$str" o`
echo `expr length "$str"` #字符串长度
echo `expr substr "$str" 1 6` #从字符串中位置1开始截取6个字符。索引是从0开始的。

输出:

3
4
4
10
i love

注意字符串变量需要加双引号。第2个例子里you虽然y的index是8,但是o在前面已经出现过,index是4，最终取所有字符里最靠前的index。

*拓展：expr更多关于字符串用法：

STRING : REGEXP   anchored pattern match of REGEXP in STRING

match STRING REGEXP        same as STRING : REGEXP

substr STRING POS LENGTH   #从STRING中POS位置开始截取LENGTH个字符。POS索引是从1开始的。

index STRING CHARS         #在STRING中查找字符CHARS首次出现的位置，没有找到返回0

length STRING              #字符串长度

数组

bash支持一维数组（不支持多维数组），并且没有限定数组的大小。类似与C语言，数组元素的下标由0开始编号。获取数组中的元素要利用下标，下标可以是整数或算术表达式，其值应大于或等于0。

在Shell中，用括号来表示数组，数组元素用空格符号分割开。定义数组的一般形式为：

array_name=(value1 value2 ... valuen)

例如：

array_name=(value0 value1 value2 value3)

或者

array_name=(
    value0
    value1
    value2
    value3
)

还可以单独定义数组的各个分量：

array_name[0]=value0
array_name[1]=value1
array_name[2]=value2

可以不使用连续的下标，而且下标的范围没有限制。

下面来读取数组：

echo ${array_name[2]} #读取下标为2的元素
echo ${array_name[*]} #读取所有元素
echo ${array_name[@]} #读取所有元素


echo ${#array_name[*]} #获取数组长度
echo ${#array_name[@]} #获取数组长度
echo ${#array_name[1]} #获取数组中单个元素的长度

输出：

value2
value0 value1 value2 value3
value0 value1 value2 value3
4
4
6

总结

对比shell里字符串和数组，我们发现：

字符串

str="hello"
${#str} # 读取字符串长度
echo ${str} # 读取字符串全部
echo ${str:1} # 截取字符串

数组：

arr=(a1 a2 a3)
echo ${#arr[*]} # 读取数组长度
echo ${#arr[1]} # 读取数组某个元素长度

echo ${arr[*]} # 读取数组全部
echo ${arr[1]} # 读取数组某个元素

${#ele*}用来读取ele元素长度属性 ${ele*}用来读取或操作ele元素

条件控制语句

if 语句

#!/bin/bash/

a=10
b=20
if [ $a == $b ] #expression 和方括号([ ])之间必须有空格，否则会有语法错误。
then 
	echo "a is equal to b"
elif [ $a -gt $b ]
then
	echo "a is greater to b"
else
	echo "a is less to b"
fi

case语句

#!/bin/bash/

grade="B"

case $grade in 
	"A") echo "Very Good!";;
	"B") echo "Good!";;
	"C") echo "Come On!";;
	*) 
		echo "You Must Try!"
		echo "Sorry!";;
esac

• 需要注意的是： 取值后面必须为关键字 in，每一模式必须以右括号结束。取值可以为变量或常数。匹配发现取值符合某一模式后，其间所有命令开始执行直至 ;;。;; 与其他语言中的 break 类似，意思是跳到整个 case 语句的最后。

• 取值将检测匹配的每一个模式。一旦模式匹配，则执行完匹配模式相应命令后不再继续其他模式。如果无一匹配模式，使用星号 * 捕获该值，再执行后面的命令。

for循环

#!/bin/bash
# 遍历文件内容
citys=`cat city.txt`
for city in $citys
do
   echo $city
done

while 循环

#!/bin/bash

c=0;
while [ $c -lt 3 ]
do
	echo "Value c is $c"
	c=`expr $c + 1`
done

跳出循环

break

break命令允许跳出所有循环（终止执行后面的所有循环）。

#!/bin/bash

i=0
while [ $i -lt 5 ]
do
	i=`expr $i + 1`

	if [ $i == 3 ]
		then
			break
	fi
	echo -e $i
done

运行结果：

1
2

continue

continue命令与break命令类似，只有一点差别，它不会跳出所有循环，仅仅跳出当前循环。

#!/bin/bash

i=0
while [ $i -lt 5 ]
do
	i=`expr $i + 1`

	if [ $i == 3 ]
		then
			continue
	fi
	echo -e $i
	
done

运行结果：

1
2
4
5

函数

函数定义

Shell 函数的定义格式如下：

function function_name () {
    list of commands
    [ return value ]
}

其中function关键字是可选的。

#!/bin/bash

hello(){
	echo 'hello world';
}

hello

运行结果：

hello world

• 调用函数只需要给出函数名，不需要加括号。

• 函数返回值，可以显式增加return语句；如果不加，会将最后一条命令运行结果作为返回值。

• Shell 函数返回值只能是整数，一般用来表示函数执行成功与否，0表示成功，其他值表示失败。如果 return 其他数据，比如一个字符串，往往会得到错误提示：numeric argument required。

• 如果一定要让函数返回字符串，那么可以先定义一个变量，用来接收函数的计算结果，脚本在需要的时候访问这个变量来获得函数返回值。

#!/bin/bash

function hello(){
	echo "hello world";
}

str=$(hello)

echo $str
echo $str

函数参数

调用函数时可以向其传递参数。在函数体内部，通过 $n 的形式来获取参数的值，例如，$1表示第一个参数，$2表示第二个参数…这就是前面讲的特殊变量。

#!/bin/bash

function sum(){
	case $# in 
		0) echo "no param";;
		1) echo $1;;
		2) echo `expr $1 + $2`;;
		3) echo `expr $1 + $2 + $3`;;
		*) echo "$# params! It's too much!";;
	esac
}

sum 1 3 5 6

运行结果：

4 params! It's too much!

注意，$10 不能获取第十个参数，获取第十个参数需要${10}。当n>=10时，需要使用${n}来获取参数。

另外，还有几个特殊变量用来处理参数，前面已经提到：

特殊变量	说明
$#	传递给函数的参数个数。
$*	显示所有传递给函数的参数。
$@	与$*相同，但是略有区别，请查看Shell特殊变量。
$?	函数的返回值。

其他语句

shell 文件包含

像其他语言一样，Shell 也可以包含外部脚本，将外部脚本的内容合并到当前脚本。

Shell 中包含脚本可以使用 **. filename 或 source filename **。

两种方式的效果相同，简单起见，一般使用点号(.)，但是注意点号(.)和文件名中间有一空格。

示例： 被包含文件：sub.sh

name="yjc"

主文件：test.sh

. ./sub.sh
echo $name

运行结果：

yjc

dirname

命令去除文件名中的非目录部分，删除最后一个“\”后面的路径，显示父目录。

[root@liang ~]# dirname /etc/httpd/
/etc
[root@liang ~]# dirname /etc/
/

获取当前脚本的绝对路径

正确的命令是：

basepath=$(cd `dirname $0`; pwd)

直接使用pwd或者dirname $0是不对的。

sed命令

sed是行文件编辑工具，是以行为单位

格式详解

命令格式：

​ sed [参数] ‘<匹配条件> [动作]’ [文件名]

参数详情：

• 参数为空 表示sed的操作效果，实际不对文件进行编辑
• -n 取消静默输出
• -i 对文本进行编辑

匹配条件

分为两种，数字行号和关键字匹配

• 关键字格式： ‘/关键字/’

动作详解

• a 在匹配到的内容下一行增加内容
• i 在匹配到的内容当前行增加内容
• d 删除匹配到的内容
• s 替换匹配到的内容
• p 查看指定内容
  注意：
  上面的动作应该在参数为-i的时候使用，不然的话不会有效果

查看操作

#cat sed.txt
nihao sed1 sed2 sed3
nihao sed4 sed5 sed6
nihao sed7 sed8 sed9

#查看第2行内容
sed -n '2p' sed.txt
#查看2-3行内容
sed -n '2,3p' sed.txt

替换操作

命令格式

​ sed -i [替换格式] [文件名]

​ 注意：替换命令的写法

​ ‘s###’ —> ‘s#原内容##’ —> ‘s#原内容#替换后内容#’

​ 样式一：

​ sed -i ‘行号s#原内容#替换后内容#列号’ [文件名]

​ 样式二：

​ sed -i ‘s#原内容#替换后内容#g’ [文件名]

替换实例

• 替换每行首个匹配内容

​ sed -i ‘s#原内容#替换后内容#’ 文件名

sed -i 's#sed#SED#' sed.txt

#cat sed.txt
nihao SED sed sed
nihao SED sed sed
nihao SED sed se

• 替换全部匹配内容

​ sed -i ‘s#原内容#替换后内容#g’ 文件名

sed -i 's#sed#SED#g' sed.txt

# cat sed.txt
nihao SED SED SED
nihao SED SED SED
nihao SED SED SED

• 指定行号替换首个匹配内容

​ sed -i ‘行号s#原内容#替换后内容#’ 文件名

sed -i '2s#SED#sed#' sed.txt

#root@centos ~]# cat sed.txt
nihao SED SED SED
nihao sed SED SED
nihao SED SED SED

• 首行指定列号替换匹配内容

​ sed -i ‘s#原内容#替换后内容#列号’ 文件名

#替换每行的第2个SED为sed

sed -i 's#SED#sed#2' sed.txt
#root@centos ~]# cat sed.txt
nihao SED sed SED
nihao sed SED sed
nihao SED sed SED

• 指定行号 列号 匹配内容

​ sed -i ‘行号s#原内容#替换后内容#列号’ 文件名

#替换第3行的第2个SED为sed

sed -i '3s#SED#sed#2' sed.txt
#root@centos ~]# cat sed.txt
nihao SED sed SED
nihao sed SED sed
nihao SED sed sed

增加实践

作用：

​ 在指定行号的下一行增加内容

格式：

​ sed -i ‘行号a\增加的内容’ 文件名

注意：

​ 如果增加多行，可以在行号位置写个范围值，彼此间使用逗号隔开，例如

​ sed -i ‘1,3a\增加内容’ 文件名

#指定1-3行  都增加内容
sed -i '1,3a\tognshi-2' sed.txt

# cat sed.txt
nihao SED sed SED
tongshi-2
nihao sed SED sed
tongshi-2
zengjia-2
tongshi-2
nihao SED sed sed

作用：

​ 在指定行号的当行增加内容

格式：

​ sed -i ‘行号i\增加的内容’ 文件名

注意：

​ 如果增加多行，可以在行号位置写个范围值，彼此间使用逗号隔开，例如

​ sed -i ‘1,3i\增加内容’ 文件名

sed -i '1i\insert-1' sed.txt

#root@centos ~]# cat sed.txt
insert-1
nihao SED sed SED
tongshi-2
nihao sed SED sed
tongshi-2
zengjia-2
tongshi-2
nihao SED sed sed

删除实践

作用：

​ 指定行号删除

格式：

​ sed -i ‘行号d’ 文件名

注意：

​ 如果删除多行，可以在行号位置多写几个行号，彼此间使用逗号隔开，例如

​ sed -i ‘1,3d’ 文件名

# 删除3-5行内容
sed -i '3,5d' sed.txt
#root@centos ~]# cat sed.txt
insert-1
nihao SED sed SED
tongshi-2
nihao SED sed sed

awk命令

格式详解

​ awk是一个功能非常强大的文档编辑工具，它不仅能以行为单位还能以列为单位处理文件。默认空格分隔符

• 命令格式
  awk [参数] ‘[ 动作]’ [文件名]
• 常见参数：
  -F 指定列的分隔符
  -f 调用脚本
  -v 定义变量
• 常见动作：
  print 显示内容
  $0 显示当前行所有内容
  $n显示当前行的第n列内容，如果存在多个$n，它们之间使用逗 号(,)隔开
  动作组成
  BEGIN{ 命令 } 初始代码块，主要和变量相关
  /pattern/{ 命令 } 匹配、执行代码块
  END{ 命令 } 结束代码块，主要和信息输出相关
• 内置变量
  FILENAME 当前输入文件的文件名，该变量是只读的
  NR 指定显示行的行号
  NF 输出 最后一列的内容
  OFS 输出格式的列分隔符，缺省是空格
  FS 输入文件的列分融符，缺省是连续的空格和Tab

简单实践

cat awk.txt
nihao awk1 awk2 awk3
nihao awk4 awk5 awk6

• print动作

  • 过滤信息

  #过滤包含nihao的内容
  awk '/nihao/' awk.txt
  

  • 打印指定列内容

  #打印第一列的内容
  awk '{print $1}' awk.txt
  

  • 打印内容的时候 打印上行号

  awk '{print NR,$1}'
  

  注意：NR在动作内部表示行号

  • 打印指定内容

  #打印第一行中的 第一列和第三列内容
  awk 'NR==1 {print $1,$3}' awk.txt
  

• -F参数

指定出分隔符

cat linshi.txt
root:x:0:0:root:/root:/bin/bash

awk -F ':' '{print $1,$7}' linshi.txt
root /bin/bash

• -f 参数

​ 编写脚本，格式化输出

root@centos ~]# cat filename

/ni/{print "第" NR "行:" "内容:" $0}

​ 加载脚本，按格式输出信息

root@centos ~]# awk -f filename awk.txt

第 1 行:内容:nihao awk1 awk2 awk3

第 2 行:内容:nihao awk4 awk5 awk6

注意：

​ 使用格式： awk -f 脚本文件 内容文件

格式化输出

设置显示分隔符，显示内容

awk 'BEGIN{OFS=":"} {print NR,$0}' awk.txt

1:nihao awk awk awk
2:nihao awk awk awk

设置输出样式

awk -F: 'BEGIN {print "----开始了----"} {print NR,$0} END {print "-----结 束了"--}' awk.txt
----开始了----
1 nihao awk1 awk2 awk3
2 nihao awk4 awk5 awk6
-----结束了---

find命令

格式详解

• 命令格式

​ find [路径] [参数] [关键字] [动作]

• 参数解析

​ -name 按照文件名查找文件。

​ -user 按照文件属主来查找文件。

​ -group 按照文件所属的组来查找文件。

​ -type 查找某一类型的文件，

​ 诸如：

​ b - 块设备文件 d - 目录 c - 字符设备文件 p - 管道文件

​ l - 符号链接文件 f - 普通文件

​ -size n(K|M|G)：[c] 查找文件长度为n块的文件，带有c时表示文件长度以字节计。

​ -perm (/|-)权限 按照文件权限来查找文件。 /表示有一个权限匹配即可，-表示相反权限匹配才可

​ -mtime (-|+)n 查找n天数(内|外)修改的文件

​ -ctime (-|+)n 查找n天数(内|外)改变的文件

​ -atime (-|+)n 查找n天数(内|外)访问的文件

​ -depth 在查找文件时，首先查找当前目录中的文件，然后再在其子目录中查找。

​ -mindepth n 在查找文件时，查找当前目录中的第n层目录的文件，然后再在其子目录中查找。

​ -path “子目录” 在指定目录的子目录下查找，一般与-prune使用

​ -prune 在查找文件时，忽略指定的内容，不能和-depth共用，否则会自动忽视prune

​ -newer 查找比指定文件新的文件

​ ! : 表示取反

• 动作详解

  动作就表示，我们对查找出来的文件做进一步的操作，主要都动作有三个

  -print 默认选项，显示名称，-o -print 表示不仅仅显示目录名，还显示目录里面的文件名

  -ls 显示文件属性

  -exec 命令 {} ; 使用命令对查找结果处理，查找结果使用"{}"来表示

简单实践

• 基本实践
  在当前系统中查找一个叫awk的文件

  root@centos ~]# sudo find /home/admin-1/ -name "awk.txt"
  /home/admin-1/awk.txt
  

  在当前系统中查找文件类型为普通文件的文件

  root@centos ~]# find /tmp -type f
  /tmp/.X0-lock
  /tmp/vgauthsvclog.txt.0
  /tmp/unity_support_test.0
  /tmp/config-err-4igbXW
  

  根目录下查找5日以内更改的文件

  find / -mtime -5
  

  在/tmp/目录下查找3日以前更改的文件，可以用:

  find /tmp/ -mtime +3
  

  在目录下查找不包含backup子目录

  find /data/scripts -path "/data/scripts/backup" -prune -o -print
  

  忽略多个文件夹

  find . \( -path "./backup" -o -path "./backup2" \) -prune -o -print
  

• 动作实践
  以列表方式查看查找到的文件

  find /etc -perm -640 -ls
  

  对查找到的文件进行改名

  find ./ -perm -002 -exec mv {} {}.old \;
  

  查找到的文件删除

  find . -name .svn | xargs rm -rf
  

  查找磁盘中大于3M的文件

  find . -size +3000k -exec ls -ld {} ;