linux操作文件常用命令

最近处理大size的log文件,记录一下常用的文件操作命令,后续会继续增加

1. 过滤想要的字段存储到新文件

grep 'target content' fileName.log > target-content.log
# 有时候log太多,需要把正常的log过滤掉
grep 'target content' target-content.log > featured.log

2. 截取一段时间内的日志文件

sed -n '/2022-05-29 02:30:00/,/2022-05-29 03:00:00/p'  fileName.log > 2_30-3_00.log

3. 查看目标内容上下10行的内容

grep 'Thread-14' 2.0--4.30.log -A 10 -B 10
# 或者直接
grep - C 'Thread-14' 2.0--4.30.log 

4. awk 处理标签

# 在处理（k8s node）标签的时候，可能只需要关注某一个标签，这时候你想每个标签的key/value对占一行，使用","分割
awk 'BEGIN{RS=","}{print $1}' filename
# 使用"," 分割
awk -f "," '{print $1}' filename