日志分析（二）：日志分析脚本

常用的文本处理工具有sed和awk，这些工具可以简化完成数据处理任务

1.sed编辑器

sed是面向行的，sed不会修改文件本身。

格式：sed [options] 'command' file(s)

command为具体的文本编辑命令，file为输入的文件。

如将日志文件中的xxx替换成baidu输出：

sed 's/xxx/baidu/' a.log | head -10
# s 表示执行的是文本替换命令。

 

筛选指定的行输出：

sed -n '2,6p' a.log
# -n 参数表示只输出指定的行，而'2,6p'表示选择的是第二行与第六行之间的行

根据正则表达式删除日志中指定的行：

sed 'qq/d' a.log
# d表示执行文本删除的，命令

显示文件行号：sed '=' a.log 

在 行首插入文本：sed -e 'i\head' a.log | head -10         # i命令用来在行首插入内容，i\head 表示在每行的前面插入head字符串。

在行末追加文本：sed -e 'a\end' a.log | head -10         # a命令用来在行末追加内容，a\end 表示在每一行的末尾追加end字符串。

对匹配的行进行替换：sed -e '/google/c\hello' a.log | head -10       # c命令对文本进行替换，查找/google/匹配的行，hello进行替换。

 

2.awk程序

awk可以提供一个类似编程的开发环境，自定义文本处理的规则，修改和重新组织文件内容。

awk通用格式：

awk [option] 'pattern [action] ' file    # action为执行的具体操作，option为命令选项，pattern对所有行执行action。

打印文件指定的列：

awk '{print $1}' a.log | head -10  # print 用来格式化输出，$1表示第一列。

awk 'length($0)>40{print $3}' a.log | head -10

$0表示当前行,length($0)用来获取当前行的长度