1. grep
文本过滤(模式:pattern)工具,grep, egrep, fgrep(不支持正则表达式搜索)**
grep [OPTIONS] PATTERN [FILE…]
- color=auto 对匹配到的文本着色显示
- -v 显示不被pattern匹配到的行
- -i 忽略字符大小写
- -n 显示匹配的行号
- -c 统计匹配的行数
- -o 仅显示匹配到的字符串
- -q 静默模式,不输出任何信息
- -A # after, 后#行
- -B # before, 前#行
- -C # context, 前后各#行
- -e 实现多个选项间的逻辑or关系
- grep –e ‘cat ’ -e ‘dog’ file
- -w 匹配整个单词
- -E 使用ERE,相当于egrep
- -F 相当于fgrep,不支持正则表达式
2. sed
sed是一种流编辑器,它一次处理一行内容。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。然后读入下行,执行下一个循环。如果没有使诸如‘D’ 的特殊命令,那会在两个循环之间清空模式空间,但不会清空保留空间。这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。
sed [option]… ‘script’ inputfile
选项
- -n 不输出模式空间内容到屏幕,即不自动打印
- -e 多点编辑
- -f /PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本
- -r 支持使用扩展正则表达式
- -i.bak 备份文件并原处编辑
script 地址定界
- 不给地址:对全文进行处理
- 单地址:
#: 指定的行,$:最后一行
/pattern/:被此处模式所能够匹配到的每一行
- 地址范围: .
#,#
#,+#
/pat1/,/pat2/
`#,/pat1/
- ~:步进
1~2 奇数行
2~2 偶数行
编辑命令:
- d 删除模式空间匹配的行,并立即启用下一轮循环
- p 打印当前模式空间内容,追加到默认输出之后
- a []text1 在指定行后面追加文本,支持使用\n实现多行追加
- i []text 在行前面插入文本
- c []text 替换行为单行或多行文本
- w /path/somefile 保存模式匹配的行至指定文件
- r /path/somefile 读取指定文件的文本至模式空间中匹配到的行后
- = 为模式空间中的行打印行号
- ! 模式空间中匹配行取反处理
- s///:查找替换,支持使用其它分隔符,s@@@,s###
替换标记:
- g 行内全局替换
- p 显示替换成功的行
- w /PATH/TO/SOMEFILE 将替换成功的行保存至文件中
3. awk
报告生成器,格式化文本输出,有多种版本:New awk(nawk),GNU awk( gawk)
awk [options] ‘program’ file…
- program:pattern{action statements;…}
1、pattern部分决定动作语句何时触发及触发事件
BEGIN,END
2、action statements对数据进行处理,放在{}内指明
print, printf
选项:
- -F 指明输入时用到的字段分隔符
- -v var=value 自定义变量
分割符、域和记录
awk执行时,由分隔符分隔的字段(域)标记1,1,2…n称为域标识,n称>>为域标识,0为所有域。
省略action,则默认执行 print $0 的操作。
变量
FS:输入字段分隔符;OFS:输出字段分隔符;RS:输入记录分隔符;ORS:输出记录分隔符;NF:字段数量;NR:记录号;NFR:各文件分别计数,记录号。FILENAME:当前文件名;ARGC:命令行的参数;ARGV:数组,保存的是命令行所给定的各参数。
注意:以上都是内置变量,在引用时不需要前面加$,每新建一个变量,都需要加个-v,与变量名之间有无空格都可以,变量可以在引用之后再声明,但那一行的输出会输出空行。
printf命令
printf “FORMAT” , item1, item2, … 不会自动换行,FORMAT中需要分别为后面每个item指定格式符。
- 格式符
格式符 | item表现形式 |
---|---|
%c | 显示字符的ASCII码 |
%d, %i | 显示十进制整数 |
%e, %E | 显示科学计数法数值 |
%f | 显示为浮点数 |
%g, %G | 以科学计数法或浮点形式显示数值 |
%s | 显示字符串 |
%u | 无符号整数 |
%% | 显示%自身 |
- 修饰符
格式符 | item表现形式 |
---|---|
#[.#] | 第一个数字控制显示的宽度;第二个#表示小数点后精度,%3.1f |
- | 左对齐(默认右对齐) %-15s |
+ | 显示数值的正负符号 %+d |
操作符
1、算术操作符:x+y, x-y, x*y, x/y, x^y, x%y
- -x: 转换为负数
- +x: 转换为数值
2、比较操作符:==, !=, >, >=, <, <=
3、模式匹配符:~:左边是否和右边匹配包含 !~:是否不匹配
4、逻辑操作符:与&&,或||,非!
5、函数调用:function_name(argu1, argu2, …)
6、条件表达式(三目表达式):selector?if-true-expression:if-false-expression
PATTERN:根据pattern条件,过滤匹配的行,再做处理
- 如果未指定:空模式,匹配每一行
- /regular expression/:仅处理能够模式匹配到的行,需要用/ /括起来
- relational expression: 关系表达式,结果为“真”才会被处理
- line ranges:行范围 startline,endline:/pat1/,/pat2/不支持直接给出数字格式
- BEGIN/END模式
-awk控制语句
- { statements;… } 组合语句
- if(condition) {statements;…}
- if(condition) {statements;…} else {statements;…}
- while(conditon) {statments;…}
- do {statements;…} while(condition)
- for(expr1;expr2;expr3) {statements;…}
- break
- continue
- delete array[index]
- delete array
- exit
awk [-F|-v] '行数筛选{XXX;XXX;printf “”,XXX,XXX}'