利用grep和awk来分析nginx日志

前几天刚说了用logparser分析iis日志，但是发现我们公司的日志的Linux下的nginx日志，用logparser无法分析。后来看了一些资料原来可以用grep和akw命令来对日志进行分析。但是这要在Linux环境下才能操作，电脑上没有装Linux的可以安装一个模拟器，基本上能满足一些需求了。推荐用Cygwin，安装包很小，安装起来很方便。可在官网下载，下载地址：http://www.cygwin.com/

然后按照提示安装就可以了。会在桌面出现这个，但是点击就可以了。

先说下grep的用法，Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。

格式：

grep [options]

主要的参数：

-c：只输出匹配行的计数。
-i：不区分大小写(只适用于单字符)。
-h：查询多文件时不显示文件名。
-l：查询多文件时只输出包含匹配字符的文件名。
-n：显示匹配行及行号。
-s：不显示不存在或无匹配文本的错误信息。
-v：显示不包含匹配文本的所有行。
pattern正则表达式主要参数：
\：忽略正则表达式中特殊字符的原有含义。
^：匹配正则表达式的开始行。
$:匹配正则表达式的结束行。
\<</span>：从匹配正则表达式的行开始。
\>：到匹配正则表达式的行结束。
[ ]：单个字符，如[A]即A符合要求。
[ - ]：范围，如[A-Z]，即A、B、C一直到Z都符合要求。
。：所有的单个字符。
*：有字符，长度可以为0。

例：

比如把rizhi.log中所有百度蜘蛛的信息提取出来并显示行数结果放入baiduspider.txt文件中

$ grep -n'Baiduspider' rizhi.log >baidu.txt

修改：用grep来筛选还是有些不准备，因为有些访问记录是模拟百度蜘蛛的，那人选取的记录就不准确，可以用awk来筛选

cat rizhi.log|awk '$14~/Baiduspider/'>baidu.txt

我们还可以把日志中所以404状态的记录提前出来，放到404.txt文档中

$ grep'404' rizhi.log >404.txt

但是你会发现，很多不是404状态的记录也被抓取了。原来grep命令是文本搜索命令，会逐条搜索记录，把符合条件的筛选出来。那么这样去筛选就不准确，因此需要用到awk来分割记录，然后抓取。

cat rizhi.log|awk '$9~/404/' >404.txt

这就用awk很轻松的把日志中404状态的记录提取出来。

awk语法：

awk [-F re] [parameter...]['program'] [-f 'programfile'] [in_file_list]

-F re：允许awk更改其字段分隔符。awk默认参数是空格，可以不写。

我们分析下日志的格式

61.174.11.15|-|-|[12/Mar/2013:19:00:36|+0800]|"GET|/|HTTP/1.1"|200|16667|"-"|"Baiduspider+(+http://www.baidu.com/search/spider.htm)""

在空格处用竖线把这条记录分割几块，用$n表示具体位置。61.174.11.15就是$1,上个例子中状态码404就是$9.

我们截取百度蜘蛛访问的来源IP、时间、抓取的URL、返回码和抓取的大小。

cat rizhi.log|grep"Baiduspider" |awk '{print $1 , $4 , $7 , $8 , $9 , $10}'>Baiduspider.txt

Uniq去除重复命令

c:输出重复行的重复次数

d:尽输出重复的行

f:忽略一些字段，只比较制定字段

i:忽略大小写

d:忽略一些字符，只比较指定的字符

u:输出不重复行

w:制定要比较字符位置

sort排序命令

-b 忽略每行前面开始出的空格字符。
-c 检查文件是否已经按照顺序排序。
-d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。
-f 排序时，将小写字母视为大写字母。
-i 排序时，除了040至176之间的ASCII字符外，忽略其他的字符。
-m 将几个排序好的文件进行合并。
-M 将前面3个字母依照月份的缩写进行排序。
-n 依照数值的大小排序。
-o<输出文件> 将排序后的结果存入指定的文件。

-u输出行中删除重复项

-r 以相反的顺序来排序。
-t<分隔字符> 指定排序时所用的栏位分隔字符。
+<起始栏位>-<结束栏位> 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。

下面整理下grep，awk分析日志常用案例。

1.分析日志内，当天访问次数最多的10个页面，并且按降序排列。

cat rizhi.log|awk ‘{print$7}’|sort|uniq –c|sort –nr|head -10>example.txt

2．获取访问最高的10个IP地址

cat rizhi.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10>topip.txt

3.查看新闻频道的访问和蜘蛛,并且统计数量

catrizhi.log|awk '$14~/Baiduspider/'|awk '$7 ~/^\/news/ {print $0}'|wc-l

4.查看百度蜘蛛抓取不重复页面，并统计数量

cat rizhi.log|awk'$14~/Baiduspider/'|awk ’{print $7}’ |sort -u|wc -l

4.查看百度蜘蛛访问网站404状态码

cat rizhi.log|awk '$14~/Baiduspider/'|awk '$9~/404/'

日志分析的目的：

1.监控蜘蛛的抓取数量

2.监控状态码的异常

3.监控重复的抓取率

4.监控蜘蛛的载入耗时

5. 提高有效抓取 , 推动收录 . （提高蜘蛛爬行效率，抓取核心页面）
6. 持续监控 , 持续改善 . 提升效果。（数据的同比和环比，持续改善）

转载于:https://blog.51cto.com/feihan21/1328328