提取nginx日志5分钟内的访问状态

最新推荐文章于 2023-05-05 14:49:32 发布
最新推荐文章于 2023-05-05 14:49:32 发布
阅读量4.5k 收藏 2
点赞数
分类专栏： shell学习记录 文章标签： awk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a806267365/article/details/48156635
版权

从nginx日志中提取5分钟内访问状态非200的记录

nginx部分访问日志如下：

100.0.0.16 - - [27/Aug/2015:10:44:58 +0000] GET www HTTP/1.1 “200” 15 “-” “-” “-” “3.254” “192.168.1.1:80”

100.0.1.13 - - [27/Aug/2015:10:45:22 +0000] GET www HTTP/1.1 “200” 90 “-” “-” “-” “0.498” “192.168.1.1:80”

100.0.1.13 - - [27/Aug/2015:10:46:26 +0000] GET www HTTP/1.1 “200” 90 “-” “-” “-” “1.704” “192.168.1.1:80”

100.0.1.16 - - [27/Aug/2015:10:46:35 +0000] GET www HTTP/1.1 “200” 94 “-” “-” “-” “1.189” “192.168.1.1:80”

采用awk多分隔符实现

awk -F'[/ "]' '$6>="2015:10:44:00" && $6<="2015:10:49:00" && $13 != 200'
jelly
关注
专栏目录
shell 定时获取5分钟内的日志数据-------通用脚本（框架）
小猪猪之家
12-25 6847
几天前有个一个同学问我怎么写一个每5分钟获取当前时间点前5分钟的日志信息，在网上搜了下，很难找，没办法自己写一个吧。         先说下日志路径格式，其日志是路径为: /年/月/日/小时/,分割，日志格式也就不说了(人家也不给看)。       废话少说直接上代码： #!/bin/bash Path="/Path/$(date +%Y/%m/%d/%H/)" for i in s
Nginx日志分析工具2.1.0.zip
06-11
总之，Nginx日志分析工具2.1.0是运维人员的得力助手，它能帮助我们从海量的日志数据中提取有价值的信息，从而提升服务器的运营效率和安全性。对于任何使用Nginx的人来说，理解和掌握这样的分析工具都是非常必要的。
shell awk读取Nginx最近5分钟的访问日志数
macken
12-17 1388
脚本代码   date1=`date -d "$date1" +%Y%H%M` logpath="access.log" cat $logpath |awk -v now=$date1 'BEGIN{count=0}{if(match($4,'/\\\\/[0-9:]+/')){ date=substr($4,RSTART+1,10);if(date&gt;=now &amp;&amp; ...
通过nginx日志统计5分钟内所有项目的pv
打卤的博客
11-27 1898
#!/bin/bash for file in `ls -l /nginx/ |grep ^- | awk '{print $9}'` do ori_log_path=&quot;/logs/nginx/$file.access.log&quot; tmp_log_path=&quot;/logs/nginx/$file.5min.access.log&quot; date_stamp=`date -d &quot;-5min&quot; +%Y:%H:..
Linux获取前五分钟内的日志内容
u010851474的专栏
08-07 1661
工作中遇到需要获取前五分钟内的日志内容，随手写了下面的程序，记一下 function Dump() { local t_min=300 tail -n 1000 $LOG_PATH > CXproc.tmp while (($t_min > 0)) do YES_DATE=`date -d @$(($STAR
从日志文件中获取最近5分钟的内容
qhh0205
01-10 6540
从日志文件中获取最近5分钟的内容 今天突然有这么个需求，每隔5分钟检测一次日志文件中是否有某个关键字，如果没有则发送报警，如果有则不做任何处理。其实问题的关键就是如果获取最近5分钟内的日志，然后启个crontab。实现思路比较简单，循环获取5分钟内的时间戳，然后从日志文件中grep这个时间戳即可。代码如下： #!/usr/bin/env bash # -*- coding: utf-8 -
linux中获取日志5分钟以内的内容
小啊宇的博客
03-23 2308
以nginx日志为例 编写脚本 #!/bin/bash echo "++++++++++++++++++++++++++++++" echo "- 查看5分钟之前的日志 -" echo "++++++++++++++++++++++++++++++" #日志位置 log=/var/log/nginx/access.log #开始时间为现在 now_time=` date +"%Y-%m-%dT%H:%M:%S"` #5分钟之前 fivemin_ago=`date -d "5 minute ag
nginx网站访问日志可视化
08-09
总的来说，"nginx网站访问日志可视化"项目展示了如何利用Python的处理能力、数据库的存储优势，以及pyecharts的可视化特性，从Nginx日志中挖掘有价值的信息，并以直观的方式呈现出来。这不仅对于系统运维人员监控和...
一个简单的Bash脚本，用于处理Nginx的访问日志，并提取一些基本信息
最新发布
04-18
5、提取状态码为5xx的请求数 这个脚本使用了一些基本的Unix命令，如grep、cut、sort、uniq和wc，来处理和分析日志文件。你可以根据自己的需求修改和扩展这个脚本。 请注意，这个脚本只是一个简单的示例，用于提取...
filebeat收集nginx日志的配置文件
02-11
本资源结合我的博客一并使用，用于解决filebeat收集nginx日志用的
nginx日志测试使用 access.log.zip
11-03
`access.log.zip`是一个压缩包，里面包含了Nginx服务器生成的访问日志记录，接下来我们将深入探讨Nginx日志的结构、用途及分析方法。 Nginx的默认日志格式（也称为`combined`格式）如下： ``` $remote_addr - $...
shell 分析nginx日志
weixin_42562106的博客
01-18 2508
从nginx日志中获取2021:01:17日 21:30至21:50的日志内容 #sed中取的两个时间点21:31:36与21:50:08必须是日志中实际存在的，用21:30:01与21:50:01获取不到数据； cat access.log | egrep '17/Jan/2021' | sed -n '/21:31:36/,/21:50:08/p' > t.txt 时间段查询日志时间段的情况 cat log_file | egrep '15/Aug/2015|16/Aug/2015' |awk
shell脚本检查统计nginx访问日志access.log
heshan307的专栏
08-29 7543
1、统计nginx的访问日志，统计访问总数，http状态码信息等 思路：先将access.log日志中的http状态码取出来，在我的nginx.conf配置下，access.log中一般awk ‘{print  $9}’即为http状态码，但为了确保不会出现问题，首先采用grep精确匹配到格式为：HTTP/1.0或HTTP:/1.1 状态码，并用awk去除$2即为http状态码，最后通过wc命令
linux过滤5分钟内的日志日期含中文,Linux过滤出时间段之间的日志
weixin_31841431的博客
05-09 375
如：过滤出8月30号22点到8月31号8点的secure日志日志格式：Aug3103:00:01localhostcrond[21772]:pam_limits(crond:session):unknownlimittype'proc'Aug3103:01:01localhostcrond[21775]:pam_limits(crond:session):unknow...
shell统计nginx日志中sql及php攻击
wnw001的博客
06-10 483
前言的：会看攻击，慢慢的就会防了！ 1：最近一直在攻击我的博客网站，。 2：我也己经做好了处理，基本上进不来。 3：我觉得有必要公布一下攻击原理，及处理过程，让大家免受其害。 ###shell统计nginx日志中的thinkphp攻击 ###sql攻击类似，可按此原理进行处理 #统计当天 #!/bin/bash today=$(date "+%Y-%m-%d") cd nginx日志路径 file=$(grep "/index.php" $today.log | awk \'{print $7}\' |
从nginx日志中得到访问量最高前5个IP
sxyqhyt的博客
07-20 1127
从nginx日志中得到访问量最高前5个IP cat access.log.10 | awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}' | sort -k 2 -r | head -n 5
快速提取NGINX/apache 给定时间段的日志
ikko的博客
05-05 915
生产环境有时候会因为访问量很大，记录下来超大的日志，晚高峰出现问题时候要通过检查日志来排查问题，面对几百G以上甚至T级别的日志，使用less 查看会和搜索会非常慢，最好的方法是通过行编辑工具（grep、awk）将需要的日志提取出来查看，但是行编辑工具有一个缺陷就是要按行读取，从首行开始读取到晚高峰的日志也需要耗费大量的读IO以及时间。这里举例使用的是nginx日志。为了能提高效率我写了这个脚本，通过二分查找法检查每一行的日志的时间，迅速定位到需要提取的日志首行和尾行，将需要的日志提取出来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值