前几天刚说了用logparser分析iis日志,但是发现我们公司的日志的Linux下的nginx日志,用logparser无法分析。后来看了一些资料原来可以用grep和akw命令来对日志进行分析。但是这要在Linux环境下才能操作,电脑上没有装Linux的可以安装一个模拟器,基本上能满足一些需求了。推荐用Cygwin,安装包很小,安装起来很方便。可在官网下载,下载地址:http://www.cygwin.com/
然后按照提示安装就可以了。会在桌面出现这个,但是点击就可以了。
先说下grep的用法,Linux系统中grep命令是一种强大的文本搜索工具,它能使用正则表达式搜索文本,并把匹配的行打印出来。
格式:
grep [options]
主要的参数:
-c:只输出匹配行的计数。
-i:不区分大小写(只适用于单字符)。
-h:查询多文件时不显示文件名。
-l:查询多文件时只输出包含匹配字符的文件名。
-n:显示匹配行及行号。
-s:不显示不存在或无匹配文本的错误信息。
-v:显示不包含匹配文本的所有行。
pattern正则表达式主要参数:
\:忽略正则表达式中特殊字符的原有含义。
^:匹配正则表达式的开始行。
$:匹配正则表达式的结束行。
\<</span>:从匹配正则表达式的行开始。
\>:到匹配正则表达式的行结束。
[ ]:单个字符,如[A]即A符合要求。
[ - ]:范围,如[A-Z],即A、B、C一直到Z都符合要求。
。:所有的单个字符。
*:有字符,长度可以为0。
例:
比如把rizhi.log中所有百度蜘蛛的信息提取出来并显示行数结果放入baiduspider.txt文件中
$ grep -n'Baiduspider' rizhi.log >baidu.txt
修改:用grep来筛选还是有些不准备,因为有些访问记录是模拟百度蜘蛛的,那人选取的记录就不准确,可以用awk来筛选
cat rizhi.log|awk '$14~/Baiduspider/'>baidu.txt
我们还可以把日志中所以404状态的记录提前出来,放到404.txt文档中
$ grep'404' rizhi.log >404.txt
但是你会发现,很多不是404状态的记录也被抓取了。原来grep命令是文本搜索命令,会逐条搜索记录,把符合条件的筛选出来。那么这样去筛选就不准确,因此需要用到awk来分割记录,然后抓取。
cat rizhi.log|awk '$9~/404/' >404.txt
这就用awk很轻松的把日志中404状态的记录提取出来。
awk语法:
awk [-F re] [parameter...]['program'] [-f 'programfile'] [in_file_list]
-F re:允许awk更改其字段分隔符。awk默认参数是空格,可以不写。
我们分析下日志的格式
61.174.11.15|-|-|[12/Mar/2013:19:00:36|+0800]|"GET|/|HTTP/1.1"|200|16667|"-"|"Baiduspider+(+http://www.baidu.com/search/spider.htm)""
在空格处用竖线把这条记录分割几块,用$n表示具体位置。61.174.11.15就是$1,上个例子中状态码404就是$9.
我们截取百度蜘蛛访问的来源IP、时间、抓取的URL、返回码和抓取的大小。
cat rizhi.log|grep"Baiduspider" |awk '{print $1 , $4 , $7 , $8 , $9 , $10}'>Baiduspider.txt
Uniq去除重复命令
c:输出重复行的重复次数
d:尽输出重复的行
f:忽略一些字段,只比较制定字段
i:忽略大小写
d:忽略一些字符,只比较指定的字符
u:输出不重复行
w:制定要比较字符位置
sort排序命令
-b 忽略每行前面开始出的空格字符。
-c 检查文件是否已经按照顺序排序。
-d 排序时,处理英文字母、数字及空格字符外,忽略其他的字符。
-f 排序时,将小写字母视为大写字母。
-i 排序时,除了040至176之间的ASCII字符外,忽略其他的字符。
-m 将几个排序好的文件进行合并。
-M 将前面3个字母依照月份的缩写进行排序。
-n 依照数值的大小排序。
-o<输出文件> 将排序后的结果存入指定的文件。
-u输出行中删除重复项
-r 以相反的顺序来排序。
-t<分隔字符> 指定排序时所用的栏位分隔字符。
+<起始栏位>-<结束栏位> 以指定的栏位来排序,范围由起始栏位到结束栏位的前一栏位。
下面整理下grep,awk分析日志常用案例。
1.分析日志内,当天访问次数最多的10个页面,并且按降序排列。
cat rizhi.log|awk ‘{print$7}’|sort|uniq –c|sort –nr|head -10>example.txt
2.获取访问最高的10个IP地址
cat rizhi.log|awk '{print $1}'|sort|uniq -c|sort -nr|head -10>topip.txt
3.查看新闻频道的访问和蜘蛛,并且统计数量
catrizhi.log|awk '$14~/Baiduspider/'|awk '$7 ~/^\/news/ {print $0}'|wc-l
4.查看百度蜘蛛抓取不重复页面,并统计数量
cat rizhi.log|awk'$14~/Baiduspider/'|awk ’{print $7}’ |sort -u|wc -l
4.查看百度蜘蛛访问网站404状态码
cat rizhi.log|awk '$14~/Baiduspider/'|awk '$9~/404/'
日志分析的目的:
1.监控蜘蛛的抓取数量
2.监控状态码的异常
3.监控重复的抓取率
4.监控蜘蛛的载入耗时
5. 提高有效抓取 , 推动收录 . (提高蜘蛛爬行效率,抓取核心页面)6. 持续监控 , 持续改善 . 提升效果。(数据的同比和环比,持续改善)
转载于:https://blog.51cto.com/feihan21/1328328