很多像我这样刚入门的小菜鸟，不知道日常怎么对自己的网站的日志进行分析，得出谁访问过我网站，访问什么，响应效果如何等等，在这里我对相关基础分析命令作个总结，大家可以参考一下&给修改意见。i_f38.gif


在讲分析命令之前，首先要明确日志格式，每个人的格式不一定一样，如果与我的格式不一样则分析命令的列数号要作对应调整

 

141.10.225.94 - - [09/Dec/2016:15:42:45 +0800] "GET /wp-content/uploads/2016/12/56.jpg HTTP/1.1" 304 - "http://www.vrfxie.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36" 0

 

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %T" combined

 

%…h: 远程主机

%…l: 远程登录名字（来自identd，如提供的话）

%…u: 远程用户（来自auth；如果返回状态（%s）是401则可能是伪造的）

%…t: 以公共日志时间格式表示的时间（或称为标准英文格式）

%…r: 请求的第一行

%…s: 状态。对于进行内部重定向的请求，这是指*原来*请求 的状态。如果用%…>s，则是指后来的请求

%…b: CLF格式的已发送字节数量，不包含HTTP头。例如当没有发送数据时，写入‘-’而不是0

%{Referer}i： 前一个页面，或者说从按个页面引过来的

%{User-Agent}i： 客户端主体信息

 %T： 响应时间

 

基础：

1.找出访问次数最多的10个IP

cat access_log | awk '{print $1}' | sort | uniq -c | sort -rn | head -n 10

结果：

      4 101.226.35.225

      2 91.92.120.102

      2 123.126.113.161

      1 98.143.148.107

      1 95.213.187.188

      1 81.169.223.210

      1 61.216.2.13

      1 220.181.108.106

      1 139.199.66.174

      1 139.162.88.63

解析：

awk #首先将每条日志中的IP抓出来，如日志格式被自定义过，可以 -F 定义分隔符，然后print指定列

sort #进行初次排序，为的使相同的记录排列到一起

upiq -c #合并重复的行，并记录重复次数

sort -nr #按照数字进行倒叙排序

head #进行前十名筛选

功能：

1.访问最多的IP地址，一般来说单个ip访问量就两位数左右吧，什么几千几万次的，就有点奇怪了

2.进一步，可以查看对应IP做过在对你网站做什么，做得最多的是什么，访问时间段……..

 

2.找到访问最多的页面

cat access_log | awk '{print $11}' | sort | uniq -c | sort -rn | head -n 10

结果：

   3068 "http://139.199.66.174/phpmyadmin/index.php/index.php"

     52 "-"

     31 "http://139.199.66.174/wp-admin/post-new.php"

     27 "http://139.199.66.174/?p=58"

     23 "http://139.199.66.174/wp-content/themes/sparkling/inc/css/font-awesome.min.css?ver=4.3.6"

     22 "http://139.199.66.174/"

     21 "http://vrfxie.blog.51cto.com/11026252/1877410"

     21 "http://139.199.66.174/wp-content/themes/sparkling/inc/css/bootstrap.min.css?ver=4.3.6"

     16 "http://www.vrfxie.cn/"

     13 "http://139.199.66.174/wp-admin/post.php?post=58&action=edit&message=6"

与1同理，只是换了一个列数

功能：

1.找出访问最多的页面

2.进一步可以查看对应页面的响应效率，如果效率不正常，则要进行优化调整

 

3.找出网站的响应质量

cat access_log | awk '{print $9}' | sort | uniq -c | sort -rn | head -n 10 #查状态码

结果：

      9 200

      3 404

      2 400

      1 405

      1 301

cat access_log | awk '{print $NF}' | sort | uniq -c | sort -rn | head -n 10 #查响应时间

功能：

1.状态码2开头表示正常，4的话就代表出错了，如果占得比例比较多则证明网站响应质量比较差，要查找对应原因了

2.响应时间一般为0，也就是零点几秒，大于0则要检查一下了

 

4.找出访问次数最多的那个小时

cat access_log | awk '{print $4}' | cut -c 14-15 | sort | uniq -c | sort -rn | head -n 10

结果：

   3074 19

    171 17

     53 15

     25 16

      7 22

      5 02

      4 20

      3 21

      2 00

      1 05

解析：

awk #用空格分出来的第四列是[09/Jan/2010:00:59:59；

cut -c #提取14到15个字符，就是表示小时那段

功能：

找出访问最多的时候，进一步可以查找，访问量高的原因，针对这段时间做优化。

 

进阶：

其实就是把上述的基本命令相互结合使用，或者加上一些特定条件，进行定位分析

下面我举几个典型例子，其他的大家可以类比去定制自己的分析命令即可

 

1.查看当天ip连接数

 cat access_log | grep "09/Dec/2016" | awk '{print $1}' | sort | uniq -c | sort -rn | head -n 10

关键在于grep，规定好特定前提--哪一天！

2.查看客户端主体信息，可知道它是不是spider之类的东西

cat access_log | awk -F '"' '{print $6}' | sort | uniq -c | sort -rn | head -n 10

关键在于awk -F改变分隔符为" 取其第六段--客户端主体信息

spider样子：

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

……

3.列出传输时间超过30秒的文件

cat access_log | awk '($NF > 30){print $7}'| sort -n | uniq -c | sort -nr | head -10

关键在于$NF > 30，按照我的日志格式$NF--最后一列是表示响应时间，响应时间大于30秒是前提

 

建议大家可以把对应你所需的分析命令汇合成一个脚本，定期执行形成报告，方便你查看，更牛的，可以根据报告结果，对异常的地方作出告警。

 

当然现在有很多日志分析软件如Logcheck等等，但是手工分析是基础，而且有趣一点~i_f46.gif