Linux 常见日志分析指令

求项目中404请求数量

cut -d ' ' -f 7 localhost_access_log.2019-01-02.txt | grep -c 404

显示该项目404请求数量9条

cut : -d 是分隔符  -f 是选择哪些显示.      

grep:  -c 求数量

 

求项目中/index.jsp 页面的访问量

cut -d ' ' -f 6 localhost_access_log.2019-01-02.txt | grep -c /index.jsp

显示该项目index.jsp页面的访问数量 为216.

 

求项目中非页面访问的数量

cut -d ' ' -f 6  localhost_access_log.2019-01-02.txt | grep -c -v .*jsp

显示该项目静态资源页面访问数量为260条

grep: -v 取反

 

求项目中访问请求最多的页面  按数量降序排序, 取前十名

cut -d ' ' -f 6  localhost_access_log.2019-01-02.txt | sort | uniq -c | sort - n -r | head -n 10

sort   排序,让相同的请求在一起

uniq -c  连续重复的行数合成一行, -c 并在行前展示数量

sort -n-r : -n 按数字排序, 默认第一行, -r 倒序排序

head - n 10    展示前10名

 

求访问最多的IP, 降序前10名

cut -d ' ' -f 4 localhost_access_log.2019-01-02.txt | sort | uniq -c | sort -n -r | head -n 10

 

求最耗时间的url, 降序前10名

cut -d ' ' -f 5,6  localhost_access_log.2019-01-02.txt | sort -n -r -k 1 | head -n 10

sort -n -r -k 1:  -n按数字排，-r 倒序， -k 按第一列排

 

求404最多的url, 按照降序排，展示数量 +url,  前10名

cut -d ' ' -f 7,6 localhost_access_log.2019-01-02.txt | grep 404 | cut -d ' ' -f 1 | sort | uniq -c | sort -n -r | head -n 10

cut -d ' ' -f 7,6 求出状态码和url

grep 404   求404的行

cut -d ' ' -f 1  求url

sort  排序

uniq -c  去重

sort -n -r  按数字 倒序排

head - n 10  展示显示10名

 

求耗时超过200mm的数量

awf -F ' ' '{if($5>200)print$0}' localhost_access_log.2019-01-02.txt | wc -l

'{if($5>200)print$0}' localhost_access_log.2019-01-02.txt  求出耗时超过200的行

-F ' '  : 分隔符

'{if($5>200)print$0}'   :按分隔符分后第5个数字>200, 打印整行.

wc -l 求行数

 

求/index.jsp的平均耗时

 

cut -d ' ' -f 5,6  localhost_access_log.2019-01-02.txt | grep '/DEM03_WEB/index.jsp' | awk -F ' ' '{sum+=$1}END{print"行数:""NR,",Average=",sum/NR}'

cut -d ' ' -f 5,6，求出耗时和url

grep '/DEMO3_WEB/index.jsp' ，过滤出index.jsp的请求

awk -F ' ' '{sum+=$1} END {print "行数：" NR ,", Average = ", sum/NR}'

{sum+=$1}   累计耗时

NR, 行数

sum/NR ,求平均值