shell脚本--常用知识

hello world!
#! /bin/bash
echo “hello world!”

$ chmod +x a.sh
$ ./a.sh
hello world!



变量
变量不分类型 (没有int,char,string)
不需要声明，直接使用
赋值：name=value (左右两边不能有空格)
使用：$name ${name}

foo=h
echo ${foo}ello


变量的作用域
默认全局作用域(仅当前shell可见)
local 限定函数局部变量
function a() { local msg; }
使用export导出变量，让子shell可以继承
export var=1
source 或 .(dot) 在当前shell下执行脚本
source ./config.sh


变量分类
自定义变量
环境变量 (set命名可查看)
$PATH,$IFS,$PS1,$PWD,$LINENO
位置参数（Positional Parameters）
$1 $2 $3 … ${10}
特殊参数（Special Parameters）
$#：位置参数的数量
$*：所有位置参数的内容 ($1 $2 …)
$@: 所有位置参数的内容(“$1” “$2” … )
$?：命令执行后返回的状态
$$：当前进程的进程号
$!：后台运行的最后一个进程号
$0：当前执行的进程名


玩转变量
使用eval实现变量的间接引用
x='abc def'
y='$x'
echo $y
$x
eval echo $y
abc de




玩转变量（续）
${!p} #双重引用
a=1
b='a'
echo ${!b}
1
${!p*} #返回所有以p开头的变量
echo ${!P*}
PATH PIPESTATUS PPID PS1 PS2 PS4 PWD
${p:-word} #如果变量p不存在，返回"word”
${p:=word} #如果变量p不存在，返回"word"，并将p的值设为"word"
${p:?word} #如果变量p不存在，将"word"打入STDERR
${p:+word} #如果变量p存在，返回"word"


玩转变量（续）
if [${ret:=1} -ne 0 ]
then
echo “NO”
exit
fi



引号迷雾
双引号
使用双引号可解释$符号,反引号和反斜线等特殊字符
echo “$msg” => 显示msg变量值
单引号
与双引号类似,不同的是shell会忽略任何特殊符号
echo ‘$msg’ => 显示$msg
反斜杆
\c == ‘c’
反引号(命令替换)
用于执行系统命令并输出到变量
echo The date and time is `date` 


几种括号
(list) list将在一个子shell中执行, 不会对当前shell产生影响,返回list的exit值
{ list; } 可以作组合命令用,list将在当前shell中被执行,list结尾处必须要有新行或‘;’号,返回list的exit值,list前后必须有空格
((expression)) 算术计算
[ ] [[ ]] 分支测试


数组
name=(value1 ... valuen) 此时下标从0开始
name[index]=value
unset name 或 name=

数组下标的范围没有任何限制,同时也不必使用连续的分量
$ A=(a b c def)
$ A[3]=bb

$ echo ${A[0]} #取第一个元素
a
$ echo ${A[@]} # 取全部元素
a b c def
$ echo ${#A[@]} # 取得数组元素的个数
4



数组（续）
遍历数组：
total=${#A[*]}
for ((i = 0; i < total; i++))
do
echo ${A[$i]}
done



分支语句
if list; then command;
[ elif list; then command; ] ...
[ else command; ]
fi
case $word in
[a-z]) list ;;
*) default;;
esac
[ $# -eq 1 ] && slen=1 || slen=0



条件测试
对文件、字符串和数字使用test命令。test一般有两种格式：
test condition 或 [ condition ]（注意空格）
if [ $str = “a.txt” ];then
echo “OK"
fi
直接测试命令：
if grep abc a.txt &>/dev/null;then
echo “Bingo!”
fi




条件测试（续）
推荐使用[[ ]]进行条件测试
if [[ “x$str”== “xa.txt” && -f b.txt ]]
then
cmd;
fi
-f -d -z ……
man bash
CONDITIONAL EXPRESSIONS



条件测试 – 数值比较
if [ $a –lt 0 ]
then
echo OK
fi

推荐使用(( ))
if (( a > 0 ))
then
echo OK
fi



循环语句
for name [ in word ] ; do list ; done
for i in `ls *.result`;do cat $i; done

for (( expr1 ; expr2 ; expr3 )) ; do list ;done
for ((i=0;i<100;i++));do echo $i;done

while list; do list; done
while read line
do
echo $line
done < a.txt
until list; do list; done



注释
# 行注释 （#前要有空格）
echo $msg #print message

块注释
:<<COMMENT
echo $msg
COMMENT

comment()
{
echo $msg
}


正则表达式基础
元字符
. 匹配任何单个字符。
 $ 匹配行结束符。^ 匹配一行的开始。
* 匹配0或多个正好在它之前的那个字符。
+ 匹配1或多个正好在它之前的那个字符。
? 匹配0或1个正好在它之前的那个字符。
\{i\} \{i,j\} 匹配指定数目的字符。
\ 这是引用符，转义；
[ ]  [c1-c2] 匹配括号中的任何一个字符。 [^c1-c2]
\< \> 匹配词（word）的开始（\<）和结束（\>）。
\( \) 将 \( 和 \) 之间的表达式定义为“组”（group），并且将匹配这个表达式的字符保存到一个临时区域（一个正则表达式中最多可以保存9个），它们可以用 \1 到\9 的符号来引用。
| 将 两个匹配条件进行逻辑“或”（Or）运算。例如正则表达式(him|her)



正则表达式举例
HTML标签
<[^>]*>

匹配由26个英文字母组成的字符串
^[A-Za-z]+$
　　
Email地址
\w+([-+.]\w+)*@\w+([-.]\w+)*\.\w+([-.]\w+)*

URL
[a-zA-z]+://[^\s]*



管道和重定向
管道可以把一条命令的输出作为另一条命令的输入
Command1 | Command2
返回值是最后一个命令的返回值

重定向
wc –l /etc/passwd > a.txt
wc –l /etc/passwd >> a.txt
wc –l < /etc/passwd
./command > a.txt 2>&1 (./command &> a.txt)

exec 5<> a.txt
echo “hello” >&5
<&-
>&-


作业控制
<CTRL-Z> 将当前任务挂起，返回job_id
fg job_id 把后台作业放到前台执行
bg job_id 把作业放到后台执行

vi b.sh
<CTRL-Z>
[1]+ Stopped vim b.sh
bg 1
[1]+ vim b.sh &
fg 1
vim b.sh


自定义函数
function foo() # foo为函数名
{
local a=$1; # 局部变量

echo $a;
return 0; # 返回值
}

foo “cool！” # 函数调用
echo $? # 打印返回值



自定义函数 – 16进制转点分十进制
a()
{
       local str=$1
       echo -n $((16#${str:0:2}))
       str=${str:2}
       if [ "x$str" = "x" ]
       then
              echo; return
       else
              echo -n "."; a $str
       fi
}
#Usage
a "DDB14CCF"


整数计算
id++ id-- ++id –id - + ! ~ ** * / % 计算
<< >> & ^ | 位操作
<= >= < > == != 比较
&& || 逻辑操作
expr?expr:expr 三元操作符
= *= /= %= += -= <<= >>= &= ^= |= 赋值操作符

y=2000 闰年计算
echo  $((y%4==0 && y%100!=0 || y%400==0))
(( y++ )) 自增1
tmp=$((16#a)) 进制转换


浮点运算
echo “scale=5; 3/7"|bc –l
.42857
echo "100.43KB 20.12KB" | awk '{print $1-$2}'
80.31
echo "ibase=16;F"|bc -l
15




简单字符串处理
x=abcd
${#x} # 获取字串长度
4
expr index  $x “b“ # 获取子串所在偏移
2expr index  $x "a“ # 获取子串所在偏移
1
echo ${x:1} # 获取子串
bcdecho ${x:2}cdecho ${x:0:2}
ab



简单的字符串处理（续）
x=aabbaarealwwvvwwecho “${x%w*w}“ # 截去尾部最短匹配
aabbaarealwwvvecho “${x%%w*w}“ # 截去尾部最长匹配
aabbaarealecho “${x##a*a}“ # 截去头部最长匹配
lwwvvwwecho “${x#a*a}“ # 截去头部最短匹配
bbaarealwwvvww

x=abcdabcdecho ${x/a/b} # 只替换一个bbcdabcdecho ${x//a/b} # 替换所有bbcdbbcd


简单字符串处理 – 实际应用
截去域名尾部
name=jx-sys-superdb.jx.baidu.com
echo ${name%%.*}
jx-sys-superdb

截取日期
str=20081011
year=${str:0:4}

替换
echo ${name//jx/tc}
tc-sys-superdb.tc.baidu.com


随机字符串生成
typeset -r DEFAULT_STR_LEN=5
typeset -ra dict=(a b c d e f g h i j k l m n o p q r s t u v w x y z)

function get_random_letter()
{
echo -n ${dict[$((RANDOM%${#dict[*]}))]}
return 0
}

function get_random_string()
{
local slen str

[ $# -eq 1 ] && slen=$1 || slen=$DEFAULT_STR_LEN

for ((i = 0; i < slen; i++))
do
str=${str}`get_random_letter`
done

echo $str
return 0
}

get_random_string $1


调试
-x
-n 是只语法检查而不执行任何命令
-e 是脚本发生第一个错误时就中止脚本运行，即当一个命令返回非零值时退出脚本 (除了until 或 while loops, if-tests, list constructs)
--posix 是更改Bash或脚本的行为，使之符合POSIX标准
Shell 伪信号：EXIT,ERR,DEBUG


调试（续）
+ typeset -r DEFAULT_STR_LEN=5
+ typeset -ra 'dict=(a b c d e f g h i j k l m n o p q r s t u v w x y z)'
+ get_random_string 2
+ local slen str
+ '[' 1 -eq 1 ']'
+ slen=2
+ (( i = 0 ))
+ (( i < slen ))
++ get_random_letter
++ echo -n t
++ return 0
+ str=t
+ (( i++ ))
+ (( i < slen ))
++ get_random_letter
++ echo -n k
++ return 0
+ str=tk
+ (( i++ ))
+ (( i < slen ))
+ echo tk
tk
+ return 0

信号捕获
#!/bin/bash

trap "print_OK" 3

function print_OK()
{
echo OK
}

while :
do
:
done

发送信号：kill -3 pid

屏蔽信号：trap “” 3


其他常用内置命令
exec command #用command替换当前进程
type ls
ls is aliased to `ls --color=tty`
: 空命令
while :
do
cmd
done

if [ list ]; then : ;else echo false;fi


常用工具
编辑软件: vi，emacs
联机帮助：man, info
查找类：find,locate,which,whereis,whatis
文本处理类：uniq,cut,paste,join,sort,comm,diff
二进制文件读取类：od，xxd，dd，hexdump
文本分析类：grep,sed,awk
系统状态类：top,ps,pstree,pgrep,/proc,strace,vmstat,netstat
传输类：wget



Grep - 全文匹配利器
--color 飘红匹配到的部分
-i 忽略大小写
-v 反向匹配
-r 递归匹配文件
-o 只打印匹配到的部分
-n 打印出行号
-c 统计匹配到的行数
-w 匹配整词

grep "sort“ *.doc

Awk – 文本处理利器
awk命令的一般形式: awk ' BEGIN { actions } pattern1 { actions } ............ patternN { actions } END { actions } ‘
awk -F: '{print $1} END{print "total:",NR}' /etc/passwd



Awk – 文本处理利器 (续)
取机器序列号
dmidecode|awk '/Serial Number:/{print $NF;exit}‘

统计词频
awk '{a[$0]++}END{for(i in a){print i,a[i]}}' a.txt

类似uniq功能
awk '! a[$0]++' a.txt



Awk – 文本处理利器 (续)
杨辉三角
#!/usr/bin/awk -fBEGIN {         yan[1,0] = 1;         for (i = 2; i <= int(ARGV[1]); i++)         {                 yan[i,0] = 1;                 yan[i,i-1] = 1;                                 for (j = i-2; j > 0; j--)                         yan[i,j] = yan[i-1,j-1] + yan[i-1,j]         }                 # output         for (i = 1; i <= int(ARGV[1]); i++)         {                 for (j = 0; j < i; j++)                         printf("%d ", yan[i,j]);                 print         }}
#Usage:
#     $ ./test.awk 10


head,tail
功能：取一个文件的头若干行或者尾部的若干行。
常用选项：
-n num：指定选取的行数
-f:tail的选项，定时输出文件的最后若干行。
使用举例
tail和head常用来分析日志或者对大规模数据抽取一小部分
tail –f example.log
watch -n 1 head url.lst



diff,cmp,diff3,sdiff,comm
功能:
diff:按行比较两个文件的不同
cmp:按字节比较两个文件的不同
diff3:按行比较三个文件的不同
sdiff:输出两个文件的合集。输出文件中两个文件原本的行在同一行中不同列
comm:快速的比较两个已经排过序的文件,输出两个文件的合集,交集，或任何单独的部分



diff常用选项
常用选项。主要介绍diff的各个选项
-b 忽略两行行尾空格，以及空格个数的区别
-E 忽略tab和空格间的区别
-w 完全忽略所有空格类字符
-B 忽略空行
-I 忽略大小写
--normal以normal形式输出不同行。即指输出不同的行
-c 以context形式输出不同行。包含不同行的上下文



find,locate
功能:查找文件。find将在目录树中查找和用户指定模式相符合的文件。locate则是通过在locate的数据库中查找，locate 的数据库由updatedb程序负责维护。
常用选项:
-name:指定要查找的文件名
-perm:指定要查找文件的权限
-size:指定要查找文件的大小范围
-mtime:指定查找修改时间在n天以内的文件。
exec command:将find命令查找到的文件作为command命令的参数
使用举例：
find . -mtime –1:查找在最近一天内被修改的文件
find . -name b.cpp -exec mv \{\} a.cpp \;





sort
功能:对文件中的各行进行排序。
sort排序是根据从输入行抽取的一个或多个关键字进行比较来完成的。缺省情况下以整行为关键字按ASCII字符顺序进行排序。
常用选项
- m 若给定文件已排好序，合并文件。
- c 检查给定文件是否已排好序。
- u 对排序后认为相同的行只留其中一行。
- d 按字典顺序排序，仅比较字母、数字、空格和制表符。
- r 按逆序输出排序结果。
- b 在每行中寻找排序关键字时忽略前导的空格和制表符。
- t separator 指定字符separator作为字段分隔符。
-k,pos1,[pos2]:以pos1到pos2中间的字符为键值
使用举例
cat words | uniq –c | sort –k 1,1 –n –r 将一批词按照出现频次有高到低排序



uniq,join,cut,paste
cut功能：用来从标准输入或文本中剪切指定列或者域
常用选项：
-c：指定剪切字符数
-f:field 指定剪切指定域数
-d:delimit 指定除空格和tab外的域分隔符
使用举例：
cut –d : -f 3 example.txt
who –u|cut –c1-8
paste功能：将两个文件按行粘贴在不同的列中。是cut的反向操作。



dd
拷贝二进制文件，
格式：
count=BLOCKS 只拷贝BLOCKS个数据块
ibs=BYTES 一次读入的数据量
if=FILE 输入文件
obs=BYTES 一次写出的数据量
of=FILE 输出文件
seek=BLOCKS 输出文件跳过BLOCKS个数据块
skip=BLOCKS 输入文件跳过BLOCKS个数据块

time dd if=/dev/zero of=test bs=1024k count=1024 查看系统io性能


wget
功能:支持使用FTP和HTTP协议,从其他主机上下载所需要的文件
常用选项:
-r:递归的下载目录以及它的子目录和所有文件
-nH：不创建以目标主机域名为目录名的目录，将目标主机的目录结构直接下到当前目录下
--cut-dir=[number]不在本地机器上建立的目录层数
-m, --mirror自动开启适合用来镜像站点的选项
-A, --accept=LIST允许下载的文件类型列表
-R, --reject=LIST拒绝继续下载的文件类型列表
-D, --domains=LIST允许继续扩展的站点列表
--tries=[number]自动重连的次数
-c：断点续传
--debug:使用这个选项可以看到更多wget下载文件过程中的调试信息,比如下载一个http文件时所发送和接收的http包头的格式
--timeout=SECONDS控制wget读超时时间,缺省为900秒
Wget –nH –cut-dir=1 ftp://*:*@test.baidu.com/
wget “http://www.sina.com”




参考资料
Man
正则表达式之道
Sed与awk
Advanced Bash-Scripting Guide