grep
基于正则表达式查找满足条件的行
内容检索
- 获取行 grep pattern file
- 获取内容 grep -o pattern file
- 获取上下文 grep -A -B -C pattern file
文件检索
- 递归搜索 grep pattern -r dir/
- 展示匹配文件名 grep -H lll /tmp/l
- 只展示匹配文件名 grep -l lll /tmp/l
范围约束
- 忽略大小写 grep -i pattern file
- 不展示匹配的行 grep -v pattern file
- 使用扩展正则表达式 grep -E pattern file
- 文件范围和目录范围约束 grep lll -r /tmp/demo/ --include “ll*”
进程检索
进程过滤场景比较特殊,需要注意;grep本身会开启新进程,所以需要单独过滤掉grep进程
awk
根据定位到的数据行处理其中的分段
基本语法
- awk是Linux下的一个命令,同时也是一种语言解析引擎
- awk具备完整的编程特性,比如执行命令,网络请求等
- 语法 awk ‘pattern{action}’
上下文变量
- 开始BEGIN 结束 END
- 行数
- 字段与字段数 $1 $ 2…$NF NF
- 整行$0
- 字段分隔符FS
- 输出数据的字段分隔符OFS
- 记录分隔符 RS
- 输出字段的行分隔符ORS
字段变量用法
- -F 参数指定字段分隔符,可以用|指定多个- 多分隔符 -F ‘<|>’
- BEGIN{FS=“_”}也可以表示分隔符
- $0 代表当前记录
- $1 代表第一个字段
- $N 代表第N个字段
- $NF 代表最后一个字段
- $(NF-1) 代表倒数第二个字段
pattern 表达式
- 正则匹配 $1~/pattern/ /pattern/
- 比较表达式 $2>2 $1==“b”
awk pattern 匹配表达式案例
- 开始和结束 awk ‘BEGIN{}END{}’
- 正则匹配
整行匹配 awk ‘/Running/’
字段匹配 awk ‘$2~/xxx/’ - 行数表达式
取第二行 awk ‘NR ==2’
去掉第一行 awk ‘NR>1’ - 区间选择
awk ‘/aa/,/bb/’
awk ‘/l/,NR==2’
action行为表达式{action}
- 打印 {print $0}{print $2}
- 赋值 {$1=“abc”}
- 处理函数
- 原始内容 $0
- 更新后内容 { l = l= l=l;print $0}
sed
stream editor 定位并修改数据
基本语法与常用参数
- 语法结构 sed [addr]X[options]
- -e 表达式
- sed -n ‘2p’ 打印第二行
- sed ‘s#hello#world#’ 修改
- -i 直接修改源文件
- -E 扩展表达式
- -debug 调试
sed pattern 表达式
- 行数与行数范围 20 30,35
- 正则匹配 /pattern/
- 区间匹配 //,//
sed action 表达式
- p 打印,通常结合-n参数:sed -n’2p’
- s 查找替换:s/REGEXP/REPLACEMENT/[FLAGS]
- d 删除,删除前两行 sed ‘1,2d’
- a 追加
- c 改变
- i 插入内容到匹配行之前
- e 执行命令
- 分组匹配与字段提取:sed ‘s#([0-9])|([a-z])#\1\2#’
行数操作
- 打印特定行 sed -n 2p
- 删除最后一行 sed $d
s表达式
- s表示替换
- s后面的追加字符可以为任意字符
- g表示全局匹配
- &表示匹配内容