Nginx web日志分析。

日志格式：
‘$remote_addr - $remot{e}_{u}ser[$time_local] “$request” $status $bod{y}_{b}yte{s}_{s}ent"$http_referer" “$htt{p}_{u}se{r}_{a}gent""$http_x_forwarded_for”’
日志记录：
27.189.231.39 - - [09/Apr/2018:17:21:23 +0800] “GET /Public/index/images/icon_pre.png HTTP/1.1” 200 44668 “http://www.test.com/Public/index/css/global.css” “Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/44.0.2403.157 Safari/537.36” “-”
1.统计日志中访问最多的10个IP.
思路：对第一列进行去重，并输出出现的次数
方法1：$ awk '{a[KaTeX parse error: Expected 'EOF', got '}' at position 5: 1]++}̲END{for(i in a)… awk ‘{print $1}’ access.log |sort |uniq -c |sort -k1 -nr |head -n10
说明：a[$1]++创建数组a，以第一列作为下标，使用运算符++作为数组元素，元素初始值为0。处理一个IP时，下标是IP，元素加1，处理第二个IP时，下标是IP，元素加1，如果这个IP已经存在，则元素再加1，也就是这个IP出现了两次，元素结果是2，以此类推。因此可以实现去重，统计出现次数。2.统计日志中访问大于100次的IP.方法1：$ awk '{a[KaTeX parse error: Expected 'EOF', got '}' at position 5: 1]++}̲END{for(i in a)… awk '{a[$1]++;if(a[$1]>100){b[KaTeX parse error: Expected 'EOF', got '}' at position 5: 1]++}̲}END{for(i in b… awk '$4>="[9/Apr/2018:00:00:01" && $4<="[9/Apr/2018:23:59:59" {a[KaTeX parse error: Expected 'EOF', got '}' at position 5: 1]++}̲END{for(i in a)… sed -n ‘/[9/Apr/2016:00:00:01/,/[9/Apr/2016:23:59:59/p’ access.log |sort |uniq -c |sort -k1 -nr |head -n10 #前提开始时间与结束时间日志中必须存在
4. 统计当前时间前一分钟的访问数
思路：先获取当前时间前一分钟对应日志格式的时间，再匹配统计
$ date=$(date-d^{\prime }-1minut{e}^{\prime }+$date '$0datec++END{printc}^{\prime }access.log说明：date+5.统计访问最多的前10个页面（$request）
$ awk '{a[KaTeX parse error: Expected 'EOF', got '}' at position 5: 7]++}̲END{for(i in a)…body_bytes_sent）
$ awk '{a[$7]++;size[$7]+=KaTeX parse error: Expected 'EOF', got '}' at position 3: 10}̲END{for(i in a)…status）
$ awk ‘{a[$1" "$9]++}END{for(i in a)print i,a[i]}’ access.log
8. 统计访问状态码为404的IP及出现次数
$ awk ‘{if($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}’ access.log