实战Linux Shell 编程与服务器管理

实战Linux Shell 编程与服务器管理

 

1章

Linux/BSD 组成：内核 shell 工具程序

Bash工作模式：互动模式，shell script模式

#! /bin/Bash
---------------------
2章 部署Bash Shell

echo $SHELL 查看系统默认shell
echo $BASH_VERSION

su -
su -c "command" 命令执行完后恢复原来身份

---------------------
3章 基础

登录主机：本机登录 远程登录

远程登录：
ssh 
telnet 192.168.1.2 12345

注销主机：ctrl+D,exit

文件：
一般文件(-)纯文本文件 二进制文件
目录(d)
设备文件(b)字符文件(c) 磁盘文件(b)
socket文件(s)
连接文件(Pipe/FIFO)(p)
特殊文件(符号连接文件)(l)
隐藏文件(.file_name)

file path(查看文件类型)

权限：读r4 写w2 执行1x

* 任意字符串，可空
? 一个字符，不可空
\ 字符转义
\ 续行符号

[abc] [a-z] [0-9] 任意一个字符串
[!a-z] 不是小写
[\!0-9] 等于[0-9!] ：0-9和!

{}组合：
{g,nc,s}ftp匹配 gftp ncftp sftp
profile{,bak} 匹配 profile profile.bak

0标准输入 1标准输出 2标准错误

wc -l < file.log(显示行数 -w 字数,-c -bytes)

命令/script < 输入文件 > 转出文件
例如 sort < unsort.txt > sorted.txt

管道：命令1 | 命令2(命令1的输出变成命令2的输入)

后台工作：命令 & 
---------------------
4章 shell程序结构

在现行shell中执行：
. /root/tmp/test.sh
source /root/tmp/test.sh

shell排错：
Bash -v test.sh Jack (检查语法)
Bash -n test.sh(不执行，仅查看代码)
Bash -x test.sh(追踪.sh执行)

shopt -s -o nounset(避免错打变量名称)
shopt 设定Bash的功能选项

pwd_mkdb 产生/etc/passwd文件

echo $SHLVL(目前是第几层shell中)

Bash运行模式：互动模式 非互动模式./sh 以sh名称调用(sh file.sh) POSIX模式 限制功能模式

(50~)
---------------------
5章
Bash内置命令...
命令行程序...

命令1;命令2;命令3(./configure;make;make install) 不一定每个命令都成功
命令1&命令2&命令3(./configure&make&make install) 命令成功才执行下一个

echo (空白行)

com1 || com2 || com3  com1执行失败才往后执行
(com1;com2;com3)  ()开启子shell执行命令组
{  com1;  com2;  com3  }  当前shell中执行命令组(不开启子shell)，注意有空格符

记录命令执行过程：工具/usr/bin/script
过程：
$ script log.txt
$ 执行命令
$ exit (离开script) 
---------------------
6章 变量与字符串操作

Bash所有变量都是“字符串”
变量不需生命
变量组成：数字 字符 _ (开头不可以0-9) 区分大小写

变量名=值 (=左右无空格)

取得变量值：$name ${name}

printf 格式化输出字符串
%s字符串 %q用\转义特殊字符

取消变量或函数(让变量不存在)：unset name
unset -v 变量名
unset -f 函数名

清空变量：(变量存在，值为空)
name=

export 设置环境变量
export testVAR="Hello"
export 变量名

export 或者 export -p：列出所有目前的环境变量

declare -x VAR="VALUE" 设置环境变量(export)

bash完整路径：echo $BASH
echo $BASH_ENV (非互动式模式中适用)
echo $BASH_VERSION
... ...

只读变量：declare readonly
readonly 变量名
declare -f 变量名

readonly  readonly -p 列出只读变量
readonly -f 函数名
readonly -a 数组名

declare 
-r(只读) -x(设置环境变量) -i(整数) -a(数组)...

别名：
alias 别名=指令
取消别名：unalias 别名
unalias -a  取消所有别名

数组：
A[0]=5 A[1]=10 A[2]=15
echo ${A[1+1]}
B={12,23,34}
C={[3]=18 [1]=93 [5]=46}
E={124 [8]=188 266} [0]124 [8]188 [9]266
取出所有元素：echo ${B[@]} 或者 echo ${B[*]}
数组元素个数：${#B[@]} 或者 ${#B[*]}

若数组元素是字符串：${#B[索引]}
取消数组或数组元素：unset A, unset A[3]

Here Document(更多实例)
命令 << tag
  ...
tag
---------------------
7章 高级变量

r=${myname-'Basher'}
若myname不存在r='Basher',若myname存在r=$myname

r=${myname:-'Basher'}
若myname不存在或空值r='Basher',若myname有值r=$myname

r=${count:=100}
count不存在或空值r=count=100,count存在r=count count=默认值

${变量:?提示信息}
变量不存在或空值，显示提示信息并停止script

r=${变量:+'true'}
变量有值r=true,变量不存在或空值r=

字符串：
substr=${name:4} 起点~尾
substr=${name:1:3} 起点~长度
${#变量} 字符串长度

取得部分参数：
${@:起点}
${@:起点:个数}

expr：字符长度
len=${expr length "$str"}
len=${expr "$str":'.*'}

${变量#样式} 从左开始删最短的
${变量##样式} 从左开始删最长的
${变量%样式} 从右开始删最短的
${变量%%样式} 从右开始删最长的

${变量/样式/替换字符串} 只替换第一个
${变量//样式/替换字符串} 全部替换
${变量/样式/} 只删一个
${变量//样式} 全部删除
${变量/#样式/} 删除第一个符合样式的字符串，变量值开头开始对比
${变量/%样式/} 删除第一个符合样式的字符串，变量值尾部开始对比

${!变量名开头@} ${!变量名开头*} 列出变量名
${!数组变量[@]} ${!数组变量[*]} 列出数组所有索引值

命令替换：命令执行后的标准输出放入变量中
变量名=$(命令)
变量名=$(命令1;命令2)
命令替换里可以有其他命令替换：r=$(du -s $(pwd))

$((算术式))

---------------------
8章 算数运算

 

$((算术式))：r=$((2+5*8))
expr 算术式：r='expr 4+5'
$[算术式]：r=$[4+5]
declare -i 变量=算术式：declare -i r=3+5
let 算术式：let r=2+5

---------------------
9章 流程控制

 

$? 存储每个命令执行后传回的状态值

if 条件测试; then
   命令
fi

 

if 条件测试; then 命令;fi

if 条件测试; then
   命令
else
   命令
fi

 

if 条件测试; then
   命令
elif 条件测试; then
   命令
else 
   命令
fi

 

if 条件测试
then
  命令
elif 条件测试
then
  命令
else
  命令
fi

 

! 命令 (有空格符，返回命令执行结果的相反值)

 

((算式)) 算式的运算结果不0则传回真值0，算式的运算结果0则传回假值1

 

[[判断式]]

 

if [[判断式]]...(0真，非0假)

if test "str" \> "xyz"; then...
test 传回判断式结果(0真，1假)

[判断式]
if ["str" \> "xyz"]; then...

command1 && command2 ，[判断式] && command
(执行1成功后，才会执行2)

command1 || command2 (执行1假，才执行2)

&&与|| 结合使用：
[判断式] && command1 || command2
解释：

文件属性判断式：195~
-a文件存在 -d目录存在 -e 文件存在
...

字符串的条件判断式：
-z 字符串(字符串长度为0)
-n 字符串(长度不为0)

 

if[str1 \> str2]
if[[str1 \> str2]]

 

算式条件判断式：
[参数1 -eq 参数2]

-ne 不等于
-lt 小于
-le 小于等于
-gt 大于
-ge 大于等于

 

Bash选项的条件判断式：-o
if[-o history];then...

 

for：
for 变量 in 串行
do
  ...
done

 

例如，
for i in $@
do
  echo $i
done

 

for((初始;条件;异动项))
do
   ...
done

 

for无穷循环：
for((;1;))

 

case条件判断：
...(9章5节)

 

while 条件测试
do
   ...
done

 

while无穷循环：
while((1))
while true
while :

 

until 条件测试(测假值)
do
   ...
done

 

until无穷循环：
until((0))
until false

 

select建立简易的列表： 
select f in 变量
do
   ...
done

 

break和continue

---------------------
10章 函数(ok)

定义：
function name(){}
name(){}
function name{}

调用：
name 
name 参数1 参数2 参数3...

取消函数定义：unset -f function_name

传递函数给子SHELL环境使用：export -f function_name

$0 script文件名
$1 第一个参数
...
${10} 第10个参数
${11}
$# 参数个数
$@ 所有参数
$* 所有参数

往前移动参数的值：shift n

建立函数库：
mylib.sh 
_functionName 
_variable

调用函数库：
. path/mylib.sh
source path/mylib.sh

递归函数
---------------------
11章 转向

文件代码：操作系统赋予已开启文件一个编号(0开始)，作为追踪文件之用
系统默认的文件代码：0标准输入 1标准输出 3标准错误
< 转向输入
> 转向输出

开启文件：fd <> file 可供读写
exec 6 <> test.txt
exec 转向操作生效 exec < file 由标准输入读取的改向file读取

关闭转向输入文件：fd <-&
例如 exec 6<-&
关系转向输出文件：fd >-&
例如 exec 6>-&

复制代码：要操作系统已开启的文件代码(0 1 2)，为了不影响原有文件代码的作用，最好先复制一份，操作完毕后再还回去

n<&m 复制转向输入的文件代码m，存成文件代码n，使n连接至m
n>&m 复制转向输出的文件代码m，存成文件代码n，使n连接至m
例子：
exec >&6 将标准输出连接到文件代码6 等于 exec 1>&6
cat <&6  将文件代码6的内容转向标准输入，cat 将标准输入显示

exec 6<&0 将标准输入转向到文件代码6

exec 5<&0 做标准输入的备份
exec 0<&5 5<-& 还原标准输入并关闭文件代码5(分成两段写，exec 0<&5 exec 5<-&)

转向输入：fd<文件
例子：
wc -l < /var/log/apache2/error.log
   exec 6</var/log/apache2/error.log 
   wc -l <&6

转向输出：fd>文件(如果文件不存在则创建，存在则被清空)
>text.txt 创建空文件
:text.txt 创建空文件
：为空命令

ls > text.txt
   exec 6>out.txt
   echo "hello" 1>&6

fd>|file 只要文件存在，都强制覆盖清空文件内容
比较：fd>file

fd>>file 转向附加

 

&>file
>&file
标准错误伴随标准输出做转向
相同于：>file 2>&1

 

Here Document转向
fd<<标记
...
...
标记
exec 6<<EOF
line
line
line
EOF
while read <&6
do
  ...

---------------------
12章 trap--陷阱触发

trap(陷阱触发)：捕捉特定信息，并做出反应的机制

列出进程：ps auxw,ps -ef

列出系统定义的信号：kill -l,trap -l

重新启动：
kill -1 pid
kill -HUP pid
kill -SIGHUP pid

查看信号定义：man 7 signal

kill -信号 pid
kill -s 信号 pid
kill -n 信号 pid

kill pid(-TERM 默认) 终止进程但未必能终止

kill -9 pid,kill -KILL pid(强制终止进程)

killall -信号 进程名称(kill与killall区别)

trap:陷阱触发
---------------------
13章 sed与awk

 

正则表达式：
. 一个字符
^ 开头(例如 ^Jack)
$ 结尾(例如 123$)
[...] 一个字符(例如 [a-z])
[^a-z] 除了小写 (^在[]里代表除了)
* 0个以上
\{...\} 指定符合的个数(例如 [a-z]\{3,5\)
\(...\) 暂时保存符合的字符串 ( H\(...\)y )

 

--sed--
非交互式流编辑器，可动态编辑文件
sed处理的对象是文件的数据流(stream)
工作模式：比对每一行，若符合样式，执行操作

sed --version
sed '样式命令' 文件

 

例如，
sed '1,4d' file1 (, 从-到。删除1-4行，显示剩下的行)
sed '/La/d' file2 (删除含有La的行，显示剩下的行)
sed '/^$/d' file3 (删除空行，显示剩下的行)
sed '/La/!d' file4 (删除不含有La的行，其他显示)
sed '/La/p' file5 (显示含La的行，不符合的也显示)
sed -n '/La/p' file6 (显示含La的行，-n抑制不符合的行)
取代：sed -n 's/La/Oo/p' file7 (取代每行La为Oo，并显示。s///p为取代显示，但只取代一个)
全局取代：sed -n 's/La/Oo/pg' file7 (g为全局命令，取代全部)
sed -n 's/La//p' file8 (删除每行含有第一个La，并抑制显示不含La的行)
sed 's/^...//p' file9 (删除每行头3个字符)
sed -n '/AAA/s/234/567/p' file10 (含有AAA行，将234换成567，其他行不显示)
sed -n '/AAA/,/DDD/s/B/234/p' file11 (找到含AAA-DDD的行，将B换成234)
sed -n '2,4s/B/234/p' file12 (2-4行中B换成234，其他行不显示)

--awk--
处理数据，产生格式化报表的语言
工作方式：读取文件，每行是一条记录，每个记录分成若干字段，然后输出字段的值

awk "样式" file 显示符合样式的行
awk {操作} file 对每一行执行{}的操作

 

例如，
awk '/La/' file1 (显示file1中每行含有La的行)
awk {print $1,$2} file2 (显示file2中第一二字段)
awk '/La/{print $1,$2}' file3 (显示含有La的数据行的第一二字段)
awk -F: '/^ols/{print $3，$4}' /etc/passwd (-F: 以:为记录的每个字段分隔符)