@三剑客 日志分析（nginx）

1.三剑客属性

Awk、Sed、Grep分析、统计Nginx日志

常用正则语法：

2.问题分析

1》在企业生产环境中，日志内容通常用于运维人员、开发人员、DBA对软件程序进行故障、错误的定位，根据日志内容能快速解决故障，减少企业的损失。
2》日志内容除了排错以外，可以对日志进行分析、过滤、统计，进而可以评估网站访问量、IP、UV、PV、用户行为分析等。

3.WEB nginx日志分析

基于shell编程三剑客使用：
Awk、Sed、Grep分析Nginx日志，分析、统计Nginx全天总的访问量（请求数）

1）示例一

#三剑客使用 （nginx）
[root@server ~]# awk '{print $0}' access.log |wc -l
[root@server ~]# sed = access.log|tail -2|head -1
[root@server ~]# sed = access_.log |tail -2|awk 'NR==1 {print $0}'
[root@server ~]# grep -aicwE "过滤内容" access.log
[root@server ~]# wc -l access.log|cut -d " " -f1
[root@server ~]# awk 'BEGIN{NR==0}END{print NR}' access.log

2）示例二

基于shell编程三剑客：
Awk、Sed、Grep分析Nginx日志，分析、统计Nginx全天09:00-11:00之间总的访问量（请求数）

#三剑客使用（nginx）
[root@server ~]# awk '/12\/Jul\/2021:09:00/' access.log|wc -l
[root@server ~]# sed -n '/12\/Jul\/2021:09:00/'p access.log |wc -l
[root@server ~]# grep -aicwE "12\/Jul\/2021:09:00" access.log
[root@server ~]# awk '/12\/Jul\/2021:09:00/,/12\/Jul\/2021:11:00/' access.log |wc -l
[root@server ~]# sed -n '/12\/Jul\/2021:09:00/,/12\/Jul\/2021:11:00/'p access.log |wc -l

3）示例三

基于shell编程三剑客：
Awk、Sed、Grep分析Nginx日志，分析、统计Nginx全天09:00-11:00之间总的访问量（请求数），将用户的IP地址打印出来

#三剑客的日志分析（nginx）
[root@server ~]# sed -n '/12\/Jul\/2021:09:00/,/12\/Jul\/2021:11:00/'p access.log |awk '{print $1}'
[root@server ~]# sed -n '/12\/Jul\/2021:09:00/,/12\/Jul\/2021:11:00/'p access.log |cut -d " " -f1
[root@server ~]# sed -n '/12\/Jul\/2021:09:00/,/12\/Jul\/2021:11:00/'p access.log |grep -aiowE "^([0-9]{1,3}\.){3}[0-9]{1,3}"

4）示例四

基于shell编程三剑客：
Awk、Sed、Grep分析Nginx日志，分析、统计Nginx全天09:00-11:00之间总的访问量（请求数），将用户IP地址访问次数排前20名打印出来

#三剑客的日志分析（nginx）
[root@server ~]# sed -n '/12\/Jul\/2021:09:00/,/12\/Jul\/2021:11:00/'p access.log |grep -aiowE "^([0-9]{1,3}\.){3}[0-9]{1,3}"|sort -n|uniq -c|sort -nr
[root@server ~]# sed -n '/12\/Jul\/2021:09:00/,/12\/Jul\/2021:11:00/'p access.log |grep -aiowE "^([0-9]{1,3}\.){3}[0-9]{1,3}"|sort -n|uniq -c|sort -nr |head -20