Linux三剑客的基本使用

Linux命令三剑客，awk，最擅长取列，sed最擅长取行，grep擅长过滤，是Linux运维人员必会的三个命令。

• 首先说一下

awk

：
awk是一种优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。这种Weinberger和Brian
kernighan三个人的姓的缩写。 awk 程序脚本

pattern pattern 即模式，pattern用来查找匹配的record 1).BEGIN
会在读入第一条record前被执行，而且只执行一次 2).END 会在所有record读取完毕执行，也只会执行一次 3)./regular
expression/ 正则表达式，匹配输入的record 4).expression
如果表达式的值为非零（如果是数字）或非空（如果是字符串），则模式匹配 5).begpat, endpat
匹配范围从开始模式begpat到结束模式endpat 6).pattern 为空，那代表匹配每一条record
awk数组
awk数组的索引可以是数字，字符串，不必是连续的正整数。数字也是被当成字符串保存的。
awk可以使用管道，也可以将管道输入看做文件
，可以使用-来代替some_command | awk -f ‘program’ file - file2 。
**

sed

命令格式
sed [options] ‘command’ file(s)

sed [options] -f scriptifile file(s)

常用参数
-e #以指定的指令来处理输入的文本文件

-n #取消默认输出（如果和p命令同时使用只会打印发生改变的行）

-h #帮助

-V #显示版本信息
a\ #在当前行下面插入文本

i\ #在当前行上面插入文本

c\ #把选定的行改为新的文本

d #删除，删除选择的行

D #删除模板块的第一行

s #替换指定字符

h #拷贝模板块的内容到内存中的缓冲区

H #追加模板块的内容到内存中的缓冲区

g #获得内存缓冲区的内容，并替代当前模板块中的文本

G #获得内存缓冲区的内容，并追加到当前模板块文本的后面

sed 实例
(1)替换 1.txt文本中word为study,代码如下
sed 's/word/study/g ’ 1. txt
(2)打印 1. txt文本第一行至第三行,代码如下
Sed -n ‘1，3p’ 1.txt
(3)打印 1.txt文本中第一行与最后一行,代码如下
Sed -n ‘1p；$p’ 1.txt
(4)删除 1.txt第一行至第三行、删除匹配行至最后一行,代码如下
Sed ‘1,3d’ 1.txt
Sed ‘/xxx/, $d’ 1.txt
(5)把文件第三行替换成“bbb”
sed ‘3cbbb’ b.txt
(6)删除空行
sed ‘/^ $/d’ passwd > c.txt

grep

常用参数选项
-a 不要忽略二进制
-A 除了显示符合范本样式的那一行
-c计算符合范本样式的列数
-d当指定要查找的目录而非文件时，必须使用这项参数，否则grep命令将回报信息并停止动作。
-e指定字符串作为查找文件内容的范本样式。
-E将范本样式为延伸的普通表示法来使用，意味着使用能使用扩展正则表达式。
-w 只显示全字符合的列。
-x 只显示全列符合的列。
-y 此参数效果跟“-i”相同。
-o 只输出文件中匹配到的部分。
常用实例
多个文件搜索
grep “match_pattern” file_1 file_2 file_3
grep “match_pattern” file_*
#反向搜索
grep -v “match_pattern” file_name
#标记匹配颜色
grep “match_pattern” file_name --color=auto
#搜索本目录及子目录中所有文件
grep “text” . -r
搜索文件中排除，或包含指定文件
grep “main()” . -r --include *.{php,html}
grep “main()” . -r --exclude “README”
静默执行。不会输出任何信息，如果命令运行成功返回0，失败则返回非0值。一般用于条件测试。
grep -q “test” filename
打印匹配，之前或之后的行
grep “5” -A 3 # 打印匹配结果行之前3行
grep “5” -B 3 # 打印匹配结果行之后3行
grep “5” -C 3 # 打印匹配结果行之前和之后各3行