sed 和 awk 的运用

sed

sed命令的常用选项如下：

-n（屏蔽默认输出，默认sed会输出读取文档的全部内容）
-r（让sed支持扩展正则）
-i（sed直接修改源文件，默认sed只是通过内存临时修改文件，源文件无影响）

打印 3到6行

sed -n ‘3,6p’ /etc/passwd

1. 写一个脚本把指定文件里的/usr/local 替换为别的目录

答案:
sed -i ‘s#/usr/local#/usr/src#g’ file

awk

1. 写一个脚本执行 nginx 日志统计,得到访问 ip 最多的前 10 个。(nginx日志路径:/home/logs/nginx/default/access.log)

答案:
awk ‘{print $1}’ /home/logs/nginx/default/access.log |sort -n|uniq-c|sort -rn|head

解读： sort -n 功能说明：将文本文件内容加以排序,sort可针对文本文件的内容，以行为单位来排序
-n 依照数值的大小排序。

uniq-c 报告或删除文件中重复的行。-c 在输出行前面加上每行在输入文件中出现的次数。

sort命令是帮我们依据不同的数据类型进行排序，其语法及常用参数格式：
　　sort [-bcfMnrtk][源文件][-o 输出文件]
补充说明：sort可针对文本文件的内容，以行为单位来排序。
-r 以相反的顺序来排序。-n 依照数值的大小排序。

2. 通过 apache 访问日志 access.log 统计 IP 和每个地址访问的次数,按访问量列出前10 名。日志格式样例如下

192.168.1.247 - - [02/Jul/2010:23:44:59 +0800] “GET / HTTP/1.1” 200 19

答案:
awk ‘{print $1}’ access.log|sort -n|uniq -c|sort -rn|head

3. 写一个脚本，分析昨天一整天nginx记录某个站点的日志，统计出次数最多的前20个ip，并统计出一天所报500错误的次数。

答案：

假如nginx昨天访问日志为/data/log/2016-10-01.access.log

假如nginx昨天访问日志为/data/log/2016-10-01.access.log
前20个IP： awk ‘{print $1}’ /data/log/2016-10-01.access.log |sort -n |uniq -c|sort -nr |head -20 |awk ‘{print $2}’
500次数： 假如状态码在第8段，awk ‘$8==”500”’ /data/log/2016-10-01.access.log |wc -l