Linux文件处理三剑客

grep,sed,awk（三剑客）

grep(关键字：截取)：文本搜集工具, 结合正则表达式非常强大

sed(关键字：编辑)：以行为单位的文本编辑工具 sed可以直接修改档案, 不过一般不推荐这么做

（重点）awk(关键字：分析&处理)：一行一行的分析处理 awk ‘条件类型1{动作1}条件类型2{动作2}’ filename, awk 也可以读取来自前一个指令的标准输出

*****其中awk非常重要************

grep:
基本语法: grep 要匹配的内容 文件名
主要参数 []
-c : 只输出匹配的行
-I : 不区分大小写
-h : 查询多文件时不显示文件名
-l : 查询多文件时, 只输出包含匹配字符的文件名
-n : 显示匹配的行号及行
-v : 显示不包含匹配文本的所有行(我经常用除去grep本身)
-o : 只输出匹配内容

sed:
基本语法：sed [-nef] ‘[动作]’ [输入文本]
-n : 安静模式, 一般sed用法中, 来自stdin的数据一般会被列出到屏幕上, 如果使用-n参数后, 只有经过sed处理的那一行被列出来.
-e : 多重编辑, 比如你同时又想删除某行, 又想改变其他行, 那么可以用 sed -e ‘1,5d’ -e ‘s/abc/xxx/g’ filename
-f : 首先将 sed的动作写在一个档案内, 然后通过 sed -f scriptfile 就可以直接执行 scriptfile 内的sed动作 (没有实验成功, 不推荐使用)
-i : 直接编辑, 这回就是真的改变文件中的内容了, 别的都只是改变显示. (不推荐使用)
动作:
a 新增, a 后面可以接字符串, 而这个字符串会在新的一行出现. (下一行)
c 取代, c 后面的字符串, 这些字符串可以取代 n1,n2之间的行
d 删除, 后面不接任何东西
i 插入, 后面的字符串, 会在上一行出现
p 打印, 将选择的资料列出, 通常和 sed -n 一起运作 sed -n ‘3p’ 只打印第3行
s 取代, 类似vi中的取代, 1,20s/old/new/g

awk:
基本语法：awk ‘BEGIN{ } { } END{ }’ 处理文件
其中BEGIN{ } 和 END{ } 只执行一遍
（可以这么理解：BEGIN为初始化，而中间为处理语句，END输出）
last -n 5 | awk ‘{print $1 "\t"$3}’ 这里大括号内$1"\t"$3 之间不加空格也可以, 不过最好还是加上个空格, 另外注意”\t”是有双引号的, 因为本身这些内容都在单引号内
$0 代表整行$1代表第一个区域, 依此类推
awk的处理流程是:
1. 读第一行, 将第一行资料填入变量 $0,$1… 等变量中
2. 依据条件限制, 执行动作
3. 接下来执行下一行
所以, AWK一次处理是一行, 而一次中处理的最小单位是一个区域
另外还有3个变量, NF: 每一行处理的字段数, NR 目前处理到第几行，FS 目前的分隔符
逻辑判断 > < >= <= == !== , 赋值直接使用=
cat /etc/passwd | awk ‘{FS=”:”} $3<10 {print$1 "\t" $3}’ 首先定义分隔符为:, 然后判断, 注意看, 判断没有写在{}中, 然后执行动作, FS=”:”这是一个动作, 赋值动作, 不是一个判断, 所以不写在{}中
BEGIN END , 给程序员一个初始化和收尾的工作, BEGIN之后列出的操作在{}内将在awk开始扫描输入之前执行, 而END{}内的操作, 将在扫描完输入文件后执行。