[转]linux三剑客基本使用

Linux命令三剑客，老大awk，最擅长取列，老二sed,最擅长取行，老三grep最擅长过滤，Linux运维人员必会的三个命令.

1.awk
awk是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种编程及数据操作语言的最大功能取决于一个人所拥有的知识。awk命名:Alfred Aho Peter Weinberger和brian kernighan三个人的姓的缩写。
最简单地说， AWK 是一种用于处理文本的编程语言工具。

(1).awk 是一种可用于选择文件中的特定记录并对其执行操作的程序。
(2).awk 命令行语法如下
awk [options] -f progfile [–] file …

awk [options] [–] ‘program’ file …

1.options是命令行选项
2.progfile是awk程序文件
3.表示命令行选项截止，以后首字母为-的文件或其它不会视为选项
4.file为输入文件
5.program为awk程序脚本

(3).awk 可以使用管道，也可以将管道输入看做文件，可以使用-来代替
some_command | awk -f ‘program’ file1 - file2

awk常用内置变量
(1).FS(Field Separators)

1.字段分隔符，默认为" “。不仅可以是空格，还可以是\t和\n,还是组合的序列。
2.可以设置为单字符或正则。
(2).OFS(Output Field Separator)
输出字段分隔符，默认为” "
(3).RS(Record Separator)
1.记录分隔符，默认为\n。
2.记录可以不止以行分隔，当RS设置为空时，类似于设置\n\n+，可以用空行来分隔记录.
(4).ORS(Output Record Separator)
输出记录分隔符，默认为\n
(5).NR(Number of Records)
从程序开始执行，正在处理的记录数，每读一条Record加1
(6).NF(Number of Fields )
当前输入记录中的字段总数,一个新的记录被读取，NF就被重置
(7).FNR(File Number of Records)
当前文件中的当前记录编号，当一个新文件读取，FNR重置为0，而NR不会

awk 程序脚本

pattern
pattern 即模式，pattern用来查找匹配的record
1).BEGIN 会在读入第一条record前被执行，而且只执行一次
2).END 会在所有record读取完毕执行，也只会执行一次
3)./regular expression/ 正则表达式，匹配输入的record
4).expression 如果表达式的值为非零（如果是数字）或非空（如果是字符串），则模式匹配
5).begpat, endpat 匹配范围从开始模式begpat到结束模式endpat
6).pattern 为空，那代表匹配每一条record

action
1).action 是在匹配pattern后，需要完成的动作。使用action 时{}不能省略，如果只有pattern，没有action，那相当于{print $0}。
2).action 包含以下类型语句
a:表达式语句 调用函数或者为变量赋值
b:控制语句 控制的程序流程
 

复合语句 用大括号包裹的多条语句
输入语句 使用getline,next,nextfile获取输入
输出语句 例如print,printf
删除语句 使用delete删除数组元素

awk 数组
awk 数组的索引可以是数字、字符串，不必是连续的正整数。数字也是被当成字符串保存的。
遍历数组
for (var in array)
body

删除数组元素
delete array[index-expression]

多维数组
多维数组的索引不是单个的索引，而是多个索引序列。例如二维数组，索引就是两个，array[x,y]
多维数组实际上还是一维数组，只是将多维数组的多个索引转化为字符串用内置变量SUBSEP来连接
多维数组遍历
for (combined in array) {undefined
# split分割字符串为数组
split(combined, separate, SUBSEP)
# separate[1]是第一个
…
}

2.sed

命令格式

 

 常用参数

常用命令

 Sed正则

sed 实例
(1)替换 1.txt文本中word为study,代码如下
sed 's/word/study/g ’ 1. txt
(2)打印 1. txt文本第一行至第三行,代码如下
Sed -n ‘1，3p’ 1.txt
(3)打印 1.txt文本中第一行与最后一行,代码如下
Sed -n ‘1p；$p’ 1.txt
(4)删除 1.txt第一行至第三行、删除匹配行至最后一行,代码如下
Sed ‘1,3d’ 1.txt
Sed ‘/xxx/, $d’ 1.txt
(5)把文件第三行替换成“bbb”
sed ‘3cbbb’ b.txt
(6)删除空行
sed ‘/^ $/d’ passwd > c.txt
(7)把fstab中包含xfs的记录（行）写入新的文件中
sed ‘/xfs/w newfstab’ /etc/fstab

3.grep
常用参数选项
-a 不要忽略二进制数据。
-A 除了显示符合范本样式的那一行之外，并显示该行之后的内容。
-b 在显示符合范本样式的那一行之外，并显示该行之前的内容。
-c 计算符合范本样式的列数。
-C或- 除了显示符合范本样式的那一列之外，并显示该列之前后的内容。
-d 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep命令将回报信息并停止动作。
-e 指定字符串作为查找文件内容的范本样式。
-E 将范本样式为延伸的普通表示法来使用，意味着使用能使用扩展正则表达式。
-f 指定范本文件，其内容有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每一列的范本样式。
-F 将范本样式视为固定字符串的列表。
-G 将范本样式视为普通的表示法来使用。
-h 在显示符合范本样式的那一列之前，不标示该列所属的文件名称。
-H 在显示符合范本样式的那一列之前，标示该列的文件名称。
-i 忽略字符大小写的差别。
-l 列出文件内容符合指定的范本样式的文件名称。
-L 列出文件内容不符合指定的范本样式的文件名称。
-n 在显示符合范本样式的那一列之前，标示出该列的编号。
-q 不显示任何信息。
-R/-r 此参数的效果和指定“-d recurse”参数相同。
-s 不显示错误信息。
-v 反转查找。
-w 只显示全字符合的列。
-x 只显示全列符合的列。
-y 此参数效果跟“-i”相同。
-o 只输出文件中匹配到的部分。

常用实例
多个文件搜索
grep “match_pattern” file_1 file_2 file_3
grep “match_pattern” file_*

#反向搜索
grep -v “match_pattern” file_name

#标记匹配颜色
grep “match_pattern” file_name --color=auto

#搜索本目录及子目录中所有文件
grep “text” . -r

搜索文件中排除，或包含指定文件
grep “main()” . -r --include *.{php,html}
grep “main()” . -r --exclude “README”

静默执行。不会输出任何信息，如果命令运行成功返回0，失败则返回非0值。一般用于条件测试。
grep -q “test” filename

打印匹配，之前或之后的行
grep “5” -A 3 # 打印匹配结果行之前3行
grep “5” -B 3 # 打印匹配结果行之后3行
grep “5” -C 3 # 打印匹配结果行之前和之后各3行