查询文件的行数
wc命令
基本语法： wc [-option] file
列出指定文件中的行数、字数及字节数。
-l 只计算行数 -w 只计算字数 -c 只计算字节数
字符替换
tr命令
语法： tr ‘set1’ ‘set2’
在这里set1中的所有字符都被转化为set2中的字符。
注意字符[和]在tr中要用反斜杠\转换，才能被正确处理。
e.g. tr ‘!?”:;\[\]{}(),.\t\n’ ‘ ‘ <ch15.doc
将ch15.doc中的!?”:;[]{}(),. TAB 回车转换为空格。
e.g. tr ‘A-Z’ ‘a-z’<ch15.doc
将ch15.doc中的大写字母转换为小写字母
e.g. tr ‘!?”:;\[\]{}(),.\t\n’ ‘ ‘ <ch15.doc|tr ‘ ‘ ‘\n’
将ch15.doc中的!?”:;[]{}(),. TAB 回车转换为空格，在将空格转换为新的行
有的版本的shell需要set1的字符数和set2的字符数相当
压缩相同的字符为一个字符
语法： tr –s ‘set1’
当tr遇到set1中多个连续相同的字符时，替换他们为一个字符。
e.g. echo “feed me”|tr –s ‘e’ 输出为 fed me
在tr中使用字符类
语法： tr ‘[:classname:]’ ‘set2’
classname是下表所给出的类的名字。set2是你希望用来转义的字符。
| 类 | 描述 |
| alnum | 字母和数字 |
| alpha | 字母 |
| blank | 空格（水平的） |
| cntrl | 控制字符 |
| digit | 数字 |
| graph | 可印刷字符，不包括空格 |
| lower | 小写字母 |
| | 可印刷字符，包括空格 |
| punct | 标点符号 |
| space | 空格(水平和垂直的) |
| upper | 大写字母 |
| xdigit | 十六进制数字 |
e.g. tr ‘[:punct:]’ ‘ ‘<ch15.doc 将ch15.doc中的标点符号换为空格。
e.g. tr ‘[:upper:]’ ‘[:lower:]’<ch5.doc 将ch15.doc中的大写转换为小写
重复出现的命令
uniq命令
语法： uniq [OPITON] [INPUT [OUTPUT]]
从一个已经sorted的文件中移除重复的行只保留一行。
-c 打印字符重复出现的次数。
-u 只列出沒有重複的列
-d 只列出有重複的列
文件字符排序
sort命令
语法： sort [OPTION] [FILE]
按指定的顺序配序一个或多个文件。当sort命令处理多个文件时，在排序前sort命令先按某种规则把他们合并起来。
-A 按ASCII码顺序排序
-c 检查指定文件是否已经按指定的关键字和顺序排序。
-d 按字典顺序排序
-f 在排序前把所有字母换成大写
-i 比较时忽略不可显示字符
-m 合并与排序文件
-n 按数值排序
-ofile 把输出重定向到指定文件
-r 按指定顺序的逆序排序。
-u 排序后多个相同的行只输出一行。
+POS1 [-POS2] start a key at POS1, end it *before* POS2 (obsolescent) field numbers and character offsets are numbered starting with zero (contrast with the -k option)
按POS1到POS2前的几栏排序（从0开始计数）
e.g. +3-5 表示按照第3、4两栏排序
-t SEP 使用SEP指定的字符为栏位的分隔符号
e.g. -t ':' 把 ':' 視為欄位的分隔符號
应用：
列出ch15.doc中10个重复次数最多的单词列表
e.g. tr ‘[:punct:]’ ‘ ‘<ch15.doc|tr ‘[:space:]’ ‘ ‘|tr ‘A-Z’ ‘a-z’|tr –s ‘ ‘|tr ‘ ‘ ‘\n|sort|uniq –c|sort –rn|head
打印出/etc/passwd中每个用户和他们的home目录
e.g. cut -d':' -f 1,6 /etc/passwd
把 DOS/Windows傳上來的檔案後面的 ^M 去掉 (把結果印在螢幕上)
e.g. tr -d '\r' < config.sys
把所有英文字母變成小寫 (把結果印在螢幕上)
e.g. tr 'A-Z' 'a-z' < config.sys
看看目前目錄下那些檔案占用的空間最多
ls -l | sort -n +4
看看整個系統內那些程序吃記憶體吃得最兇
ps aux | sort -n +3
看看自己家裡面所有最上層的子目錄各用了多少空間
du -s `ls -l ~ | grep '^d' | cut -c 55-`
把使用者 ckhung所有正在執行的程序全部中斷掉
kill `ps aux | grep '^ckhung' | cut -c 9-16`
看看有那些使用者有程序在執行 (無論有無控制臺)
ps aux | cut -c 1-8 | sort | uniq
在abc目錄下(含子目錄,孫目錄, ...)尋找所有內含pqr字串的檔案,並把這些pqr都改成xyz:
grep -l pqr `find abc -type f` > ttt; perl -i -pe 's/pqr/xyz' `cat ttt`
把目前目錄下所有最近三天內修改過的檔案按照大小排出來:
ls -l `find . -type f -mtime -3` | sort -n +4
把目前目錄底下所有 dos格式文字檔, 轉成 unix格式:
file `find . -type ` | grep -i text | sed 's/: .*//' > /tmp/listing; perl -i -pe 's/\015//' `cat /tmp/listing`
正则表达式
1.1. 构成正则表达式的基本元素
1.1.1. 普通字符：包括大小写字母、数字、空格、下划线
1.1.2. 元字符：是在正则表达式中有特殊含义的字符。如下：
元字符 . 可代替除换行符之外的任何单个字符
元字符 * 可代替零个或多个在它前面出现的字符或正则表达式。*总是匹配尽可能长的字符串
元字符[chars] 可代替chars中的任何一个字符，chars是一串字符序列。你可以用- 字符号来定义一个字符范围。如果^是chars中的第一个字符，那么将匹配没有在chars中指定的字符。
元字符 ^ 匹配一行的开头（必须把^作为正则表达式的第一个字符）
元字符 $ 匹配一行的结尾（必须把$作为正则表达式的最后一个字符）
元字符 \ 把\后面的字符照常输出,通常用来转义(不用特殊含义)一个元字符
元字符 \{n1,n2、} 匹配前面字符或正则表达式的最少n1次最多n2次出现。
元字符 \(\) 保存括号中的正则表达式以备后用。以后可以用\1到\9表示前面保存的正则表达式
元字符 \< 在一个字的开始匹配其后的正则表达式
元字符 \> 在一个字的结尾匹配其前的正则表达式
元字符？ 匹配其前正则表达式的0次或1次出现
元字符 + 匹配其前正则表达式的1次或多次出现
1.1.2.1. 举例
e.g. /peach/ 精确匹配字符串peach,所有包含字符串peach的行都会被选择。
e.g. /a.c/ 匹配a+c、a-c、abc、match、a3c之类的字符串的行
e.g. /a*a/ 匹配a+c、a-c、abc、match、a3c、ace、yacc、arctic这样的字符串的行，他还可匹配这样的行：close the window。虽然a并没有出 现，但因为*,它匹配查找零个或多个在它前面出现的字符。
* 总是匹配尽可能长的字符串。
e.g. /ch.*doc/ 匹配字符串ch01.doc、ch02.doc、chdoc之类的字符串。
e.g. /[tT]he/ 匹配The和the
e.g. /[^T]/ 匹配除T之外的所有字符
e.g. /ch0[0-9]*doc/ 匹配ch01.doc和ch02.doc之类的字符串，但是不匹配chdoc和changedoc之类的字符串。
e.g. /^the/ 匹配以the开头的行
e.g. /friend$/ 匹配以friend结尾的行
e.g. /\t\)..\1/ 匹配test、taat、 t, t、tbbt之类的串。 \1在这里代替了t
1.1.3. 一些有用的正则表达式
匹配空白行 /^$/ 或者 /^ *$/
匹配一整行 /^.*$/
匹配某字符后的所有字符 /(.*$/ 匹配(后的所有字符
匹配某字符前的所有字符 /^.*.)/ 匹配）前的所有字符
匹配一个或多个空格 /*/
匹配HTML(或XML)标记集 /<[^>][^>]*>/
匹配有效的URL /[a-zA-Z][a-zA-Z]*:w[a-zA-Z0-9][a-zA-Z0-9\.]*.*/
匹配格式化的美元数 /\$[0-9]*\.[0-9][0-9]/
sed命令
sed是一种对它的输入的每一行进行一系列操作的流式编辑器
1.1.4. sed的语法：
sed ‘/pattern/ action’ files
这里files是一个或多个文件的列表。pattern是一个正则表达式,action是下表中说给出的命令
| 操作 | 描述 |
| p | 打印行 |
| d | 删除行 |
| s | 用一个表达式置换另外一个 |
1.1.4.1. 打印行
sed ‘/pattern/p’ files
默认情况下p打印行时，sed会把每一个输入行打印到输出，在将处理结果打印到输出。所以选中的行会被打印2次，没有被选中的行会被打印1次。为了避免这种情况可以指定–n选项。
e.g. sed –n‘/0\.[0-9][0-9]$/p’fruit_prices.txt
1.1.4.2. 删除行
sed ‘/pattern/d’files
1.1.4.3. 执行替换
sed ‘/pattern1/s/pattern2/pattern3/’files
使匹配规则pattern1的每一行中的pattern2被替换为pattern3。如果pattern1被忽略，命令s将会对每一行输入都执行。
默认情况下，s命令在一行只执行一次替换。为了执行多次替换，需要用到g(g全局)操作符。
/pattern1/s/pattern2/pattern3/g
在pattern3位置可使用&操作表示拷贝字符串pattern2。
e.g. fruit_prices.txt 中内容为 Banana 0.89
执行命令 sed ‘s/ *[0-9][0-9]*\.[0-9][0-9]$/\$&/’ fruit_prices.txt,就变为 Banana $0.89
问题？？？：在 / *[0-9][0-9]*\.[0-9][0-9]$/\$&/中第一个*前必须打个空格，不知道为什么？
1.1.4.4. -e 参数连续执行多个操作
e.g. id|sed –e ‘s/(.*$//’ –e ‘s/^uid=//’
2. 十七、用awk过滤文本
2.1. awk基本语法：
awk ‘/pattern/ {actions}’ files
在这里,files是一个或多个文件的列表，pattern是一个正则表达式，actions是可以使用的命令。
2.2. 字段编辑
awk自动把每行的输入分成字段。默认的字段分隔符是制表符和空格。awk用字段操作符$来访问一个字段的值。例如，$0代表整行，第一个字段是$1，第二个字段是$2,以此类推。
e.g. awk ‘{print $1 $3;}’fruit_price.txt 打印每行的第1、3个字段
2.3. awk使用比较操作符
2.3.1. awk使用比较操作符的语法：
awk ‘expression {actions}’ files
这里expression是由下表给出的比较操作符构成：
| 操作符 | 描述 |
| < | 小于 |
| > | 大于 |
| <= | 小于等于 |
| >= | 大于等于 |
| == | 等于 |
| != | 不等于 |
| value~/pattern/ | 如果value匹配样式，则为真 |
| value!~/pattern/ | 如果value不匹配样式，则为真 |
e.g. #!/bin/sh
awk ‘
$3 <= 75 {printf“%s\t%s\n”,$0,”REORDER”;}
$3 > 75 {printf $0;}
‘ fruit_prices.txt
输出第3个字段包括一个小于或者等于75的值的行并加上REORDER字符串。
输出第3个字段包含一个大于75的值的行。
2.3.2. 混合表达式
与的语法： (expr1) && (expr2)
或的语法： (expr1) || (expr2)
e.g. #!/bin/sh
awk ‘
($2 ~ /^\$[1-9][0-9]*\.[0-9][0-9]$/) && ($3 < 75) {
print “%s\t%s\t%s\n”,$0,”*”,”REORDER”;
}
‘ fruit_prices.txt
2.3.3. next 命令
next 命令告诉awk跳过所有保留的样式匹配和表达式，并读取下一行，重新开始进行样式匹配。
e.g. #!/bin/sh
awk ‘
$3 <= 75 {printf “%s\t%s\n”,$0,”REORDER”;next;}
$3 > 75 {printf $0;}
‘ fruit_prices.txt
2.3.4. 使用标准输入作为输入：
e.g. ls –l | awk ‘$1 !~ /total/ {printf “%-32s %s\n”,$9,$5;}’
2.4. awk功能:变量及数值表达式的使用
2.4.1. 定义变量的语法：
name=value
这里name是变量名，value是变量的值。
初始化变量是没有必要的，当你第一次使用时它会自动初始化。
变量名只能包含字母、数字和下划线，变量不能以数字开头。
你可以在同一脚本中把数字和字符串赋值给变量。
e.g. fruit=”peach”;fruit=100;
e.g. fruit=”peach”;fruity=fruit;
e.g. fruit=$1;
2.4.2. 使用数字表达式
语法： num1 operator num2
这里num1和num2是常数或者是变量名。如果变量是字符串而不是数字，则awk使用值为0而不是字符串。operator是如下表的数值操作符。
| 操作符 | + | - | * | / | % | ^ |
| 描述 | 加 | 减 | 乘 | 除 | 取模(余) | 求幂 |
e.g. awk ‘/^ *$/ {x=x+1;print x;}’ t.txt
赋值操作符语法： name operator num
这里nmae是变量名，num是变量的名字或常数，operator是如下表指定的操作符之一。
| 操作符 | += | -= | *= | /= | %= | ^= |
| 描述 | 加 | 减 | 乘 | 除 | 取模(余) | 求幂 |
e.g. awk ‘/^ *$/ {x+=1;print x;}’ t.txt
2.4.3. 特殊的样式匹配： BEGIN和END
语法： awk ‘
BEGIN { actions }
/pattern/ { actions }
/pattern/ { actions }
END { actions }
‘ files
祥见 《精通shell编程》p200
2.4.4. awk中的内部变量：
| 变量 | 描述 |
| FILENAME | 当前输入文件的名称。不能改变这个变量的值。 |
| NR | 当前输入文件的行数或者输入文件的纪录。不能改变这个变量的值。 |
| NF | 当前行或者记录的字段数。不能改变这个变量的值。 |
| OFS | 输出字段的分隔符(默认是空格) |
| FS | 输入字段的分隔符(默认是空格和制表符，即\t) |
| OFMT | 数字的输出格式(默认是%.6g) |
| ORS | 输出记录分隔符(默认是新起一行) |
| RS | 输入记录分隔符(默认是新起一行) |
2.4.5. 应用：改变输入字段分隔符。
方法1：在BEGIN中手工重置FS
e.g. awk ‘BEGIN { FS=”:”;} {print $1,$6;}’ /etc/passwd
方法2：给awk 指定 –F选项可以指定分隔符
e.g. awk –F : ‘{print $1,$6;}’ /etc/passwd
2.4.6. 让awk使用shell变量
许多版本awk不可直接访问shell变量。必须转换为awk变量。
语法： awk ‘script’ awkvar1=value awkvar2=value … files
这里script 是你想执行的awk脚本。变量awkvar1等等是你想设置的awk变量名称。
e.g. awk ‘$3 <= numfruit {print;}’ numfruit=”$NUMFRUIT” fruit.txt
2.5. awk功能：流程控制
在awk中有3种主要形式的流程控制：if语句、while语句、for语句。
2.5.1. if语句的基本语法：
if (expr1) {
action1
} else if (expr2) {
action2
} else {
action3
}
这里expr1和expr2是用条件操作符建立的表达式，expr1和expr2外面的圆括号是必需的。action1等可以是任何有效的awk命令序列。当一个操作包含一个或多个语句时，涵括这些actions的大括号是必须的。这里对else if语句的数量没有限制。
e.g. awk ‘{
printf “%s\t”,$0;
if ($2~/\$[1-9][0-9]*\.[0-9][0-9]/) {
printf “*”;
if ($3<=75) {
printf “RECORDER\n”;
} else {
printf “\n”;
}
}’ fruit_prices.txt;
2.5.2. while语句的基本语法：
while (expr) {
actions
}
这里expr是用条件操作符建立的表达式，expr外面的圆括号是必需的。actions可以是任何有效的awk命令序列。当一个操作包含一个或多个语句时，涵括这些actions的大括号是必须的。
e.g. awk ‘{ x=NF ;
while (x>0) {
printf(“%16s”,$x);
x-=1;
}
printf “”;
}’ fruit_prices.txt
2.5.3. do语句的基本语法：
do {
actions
} while (expr)
这里expr是用条件操作符建立的表达式，expr外面的圆括号是必需的。actions可以是任何有效的awk命令序列。当一个操作包含一个或多个语句时，涵括这些actions的大括号是必须的。
do语句是while语句的一个变种。区别是do语句至少执行一次.
e.g. awk ‘{ x=NF;
do {
printf(“%16s”,$x);
x-=1;
} while (x>0);
print “”;
}’ fruit_prices.txt
2.5.4. for循环的基本语法：
for (init_cntr; test_cntr; incr_cntr) {
action
}
这里init_cntr初始化计数器变量，test_cntr是一个测试计数器变量值得表达式，incr_cntr增加计数器的值。for循环中包围表达式的圆括号是必需的。要执行的操作action可以是任何有效的awk命令序列。当一个操作包含一个或多个语句时，涵括这些actions的大括号是必须的。
e.g. awk ‘{
for (x=1;x<=NF;x+=1) {
printf “%s”,$x;
}
printf “\n”;
}’ fruit_prices.txt
3. 十八、其他工具
evel 先置换再执行命令 (内部命令)
在用户需要shell执行置换后再执行命令的情况下使用，
语法如下： eval cmd
e.g. OUTPUT=”> out.txt”;echo hello $OUTPUT
则屏幕打印 hello> out.txt 没有正的输出到out.txt文件。
e.g. OUTPUT=”> out.txt”;eval echo hello $OUTPUT
则屏幕上没有文本输出，输出被重定向到out.txt
:命令的应用
：和if (内部命令)
:命令有时在if语句中紧接着than使用。
e.g. if [ -x $CMD ]; then
:
else
echo Error: $CMD is not executable >&2
如果命令没有紧跟then,shell就会标记语法出错，所以用户可以插入:命令作为临时空操作符来代替后面的代码。
:和while
:总是返回正确的结果，所以通常被用来建立无限循环，如下：
while :
do
list
done
无限循环，除非在循环体内遇到break语句。
可以使用ture命令代替:来创建无限循环，但是true时外部命令。
:和变量置换
可以被用来评估参数
e.g. :${LINES:=24} ${TERM:? “TERM not set”}
这里:是空操作符，但shell仍然计算它的值，执行后面的变量替换，
type命令 告诉用户一个命令的绝对路径名。(内部命令)
语法： type cmd1 … cmdN
e.g. type true vi
ture is /bin/true
vi is /bin/bin/vi
当给定的命令是其他命令的别名时，type会给出实际调用的命令。
当一个单一命令被指定时，type的退出码 0标示执行成功，1标示执行失败。
sleep命令 暂停给定的秒数
语法： sleep n
这里n是休眠或者暂停的秒数。n不能超过65534
xargs命令
从标准输入中接受单词列表的命令，并把这些单词作为参数传递给指定的命令。
e.g. cat filelist | xargs –n 20 rm
这里 –n 20 是指仅仅传送20个参数到每一个命令行。
expr命令 用于执行简单的整数运算
基本语法： expr int1 op int2
这里int1和int2是整数，而op是下表的操作符之一。op前后的空格是必须的
| 操作符 | + | - | \* | / | % |
| 描述 | 加 | 减 | 乘 | 整数除 | 模除 |
整数除 表示 除不尽的部分被舍去
模除 表示 得到除法的余数部分
e.g. CNT=`expr $CNT + 1`
expr命令和正则表达式
基本语法： expr str : regex
这里str是要匹配的字符串，regex是正则表达式。该命令返回由一个正则表达式所匹配的字符的数目。
e.g. expr 1234abc : ‘[0-9]*’
返回为4。 匹配所有数字
如果正则表达式regex中包含了转义后的括号，则expr返回的是则对括号所包含的内容。
e.g. expr 1234abc : ‘...\(..\)..’
返回为4a
bc命令 算术运算，不限于整数运算
bc可以处理 + - * / % ^
e.g. AVERAGE=`echo “scale=4; $PRICE/$UNITS” | bc`
4. 十九、信号
信号基础
shell脚本中重要的信号
| 名称 | 值 | 描述 |
|
| 0 | Shell脚本结束退出时，都会给自己发信号0表明脚本执行完成并且应该终止 |
| SIGHUP | 1 | 控制终端发现被挂起或控制进程死亡 |
| SIGINT | 2 | 键盘中断 |
| SIGQUIT | 3 | 来自键盘的退出信号 |
| SIGKILL | 9 | 杀死进程的信号 |
| SIGALRM | 14 | 定时时钟中断(用作定时器) |
| SIGTERM | 15 | 终止信号 |
根据系统的不同，信号的数量略有变化。每一个信号，都有一个与之相关联的缺省动作。
列出信号
命令1： man signal
命令2： kill -l
发送信号
方法1：用快捷键 如Ctrl+C 会向程序发送一个SIGINT信号。
方法2： kill –signal pid
这里singal表示要发送的信号的整数或是信号的名称。pid指进程号。
举例1： SIGTERM信号
kill pid 等价于 kill –s SIGTERM pid
举例2： SIGHUP信号
kill –s SIGHUP 1001 等价于 kill –1 1001
向pid 1001运行的程序发送HUP 挂起 信号。
举例3： SIGQUIT信号和SIGINT信号
在某些情况下,SIGTERM不足以用来终止一个进程。可以尝试用SIGQUIT或SIGINT信号来终止进程的执行
kill –s SIGQUIT 1001 或 kill –s SIGINT 1001
举例4：SIGKILL信号
kill –9 1001
使用SIGKILL信号的缺点是：接收到它的进程没有任何机会进行退出时的清理工作。
283
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
