Linux脚本练习之script081-nginx日志分析之统计某个时间段的IP

最新推荐文章于 2024-08-10 06:00:00 发布
最新推荐文章于 2024-08-10 06:00:00 发布
阅读量757 收藏 2
点赞数 1
分类专栏： # Shell脚本 文章标签： linux shell
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cnds123321/article/details/125813878
版权

script081

题目

注：题目来源于 SHELL24 nginx日志分析2-统计某个时间段的IP 。

假设 nginx 的日志我们存储在 nowcoder.txt 里，格式如下：

192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:23:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

现在你需要统计2020年04月23日20-23点的去重IP访问量，你的脚本应该输出

5

脚本一

通过正则表达式提取2020年04月23日20-23点的记录行；然后通过 awk 命令提取第一列，即 IP 地址列；再通过 sort 命令排序；uniq 命令去重；最后 wc 命令统计行数，即访问量。

grep "23/Apr/2020:2[0-3]" nowcoder.txt | awk '{print $1}' | sort | uniq | wc -l

脚本二

跟脚本一原理一样，只不过第一步是通过 awk 命令完成的筛选。

awk '/23\/Apr\/2020:2[0-3]/{print $1}' nowcoder.txt | sort | uniq | wc -l

脚本三

#!/bin/bash

# 声明关联数组
declare -A map

# 循环读取文件中的每一行
while read line; do
	# 转换成数组
	a=($line)
	# 如果该行的日期是2020年04月23日20-23点，那么则将IP地址存入到关联数组中，并统计出现次数
	[[ ${a[3]} =~ 23/Apr/2020:2[0-2] ]] && ((map["${a[0]}"]++))
done < nowcoder.txt

# 最后打印关联数组的长度
printf "${#map[*]}"
二木成林
关注
专栏目录
统计Nginx日志里前一个小时的IP数量以及IOS占比
07-19
Nginx日志的原始时间格式无法通过date命令转换，所以自己写了脚本转换格式
nginx日志统计分析
wanchaopeng的博客
01-10 2318
nginx日志分析常用命令，包括IP相关统计、页面访问统计、性能分析、蜘蛛抓取统计、TCP连接统计等相关命令的总结 1. IP相关统计 1.1 ip访问量统计 awk '{print $1}' access.log | sort -n | uniq | wc -l 1.2 查看某一时间段的IP访问量(5-6点) grep "07/Jan/2019:0[5-6]" access.log...
查看NGINX服务器的日志有多少个IP访问
最新发布
z19861216的博客
08-10 194
查看NGINX服务器的日志有多少个IP访问
【Shell牛客刷题系列】SHELL24 nginx日志分析2-统计某个时间段的IP
一起加油~
12-08 871
本文首先复习了grep、awk、sed、cut等命令的相关用法；然后，给出了五种题目的解决方案。
Linux下对nginx日志进行统计分析
weixin_43991475的博客
04-25 4568
1.awk按状态码统计数量命令： cat /usr/local/nginx/logs/access.log | awk '{print $9}' | awk 'BEGIN{count[$1]=0}{count[$1]+=1}END{for(i in count) print(i,count[i])}' 或统计最后100条日志的情况 tail -n 1000 /usr/local/nginx/logs/access.log | awk '{print $9}' | awk 'BEGIN{count[$1]..
Linux脚本练习之script082-nginx日志分析之统计访问3次以上的IP
二木成林
07-20 573
写脚本统计访问 3 次以上的 IP。
Linux靶机练习
SYJ_361的博客
03-27 9186
这里是对Linux靶机的各种练习，包括Lampiao、Raven2、Tr0ll、zico2、DC-6、DC-9等，利用kali、蚁剑等对靶机进行提权，并找到root里面的flag文件
网络系统管理Linux练习题2解题笔记
qq1324434947的博客
12-17 1385
网络系统管理Linux 172.16网段服务配置
网络系统管理Linux练习题1解题笔记
qq1324434947的博客
12-17 2240
该文件包含网络系统管理2021-2023年所有192.168网段的服务
Linux运维练习
qq_41596208的博客
02-05 3050
Linux运维实验盘管理和文件系统一、磁盘结构1. 设备文件 盘管理和文件系统 一、磁盘结构 1. 设备文件
大型企业中如何批量管理千万台服务器之ansible自动化运维工具详解 [⭐建议收藏⭐]
热门推荐
心有鸿鹄天地，不敢妄坠人间
09-22 7万+
文章目录ansible 自动化运维工具 详解关于作者**作者介绍**一、ansible 概述1.1 ansible 概述1.2 是什么要使用 ansible1.3 ansible 功能1.4 ansible 优点1.5 ansible工作机制1.6 ansible 工作原理/流程图二、ansible 批量管理服务部署2.1 实验环境2.2 官网安装教程2.2.1 ansible 安装2.2.2 ansible 命令参数介绍2.2.3 定义主机清单2.2.4 基于ssh 免密登录2.2.5 管理端 运行命
统计一定时间段nginx日志发送的报文数
weixin_33866037的博客
02-28 364
#!/bin/bash list=`awk'/19:/,/21:/{print$10}'/data/opt/nginx/logs/access.log|tr-d"[[:punct:]]|[[:alpha:]]"` sum=0 foriin$list;do sum=$[$sum+$i] done echo$sum2017/05/04awk-...
linux学习之日志统计
lemon
07-02 545
1.统计文件内相同时间内出现的日志条数： 答案1（不用ack）：cat zj.txt | cut -d ' ' -f 2,3 | cut -d ':' -f 1,2 | uniq -c | sort -nr 解释：通过cut命令将输出的内容按照 空格 (-d ' ') 分割，取第几部分内容（-f 1,2)，uniq -c 命令进行去重，并拿到每个字符串出现的个数，最后将按照sort -n 进行排序（-r 结果倒排)。 ...
Linux 查询指定时间段的日志
u014644574的博客
10-14 8743
常用三种情况： sed -n '/abc/p' 表示输出 包含abc的行 sed -n '/abc\|def/p'表示输出 包含abc或包含def的行 sed -n '/abc/,/def/p'表示输出 包含abc到包含def之间的行 新建测试日志 vi app.log 2021-10-10 00:10:00.000 [task0] INFO c.c.s.test.igr.timer.MyTimerTask - 任务ID：20201215142923827 2021-10-10 00:1...
通过nginx日志统计一段时间内ip的访问次数进行排序&访问量统计
小啊宇的博客
03-23 4489
查看nginx日志位置 find / -name access.log grep命令过滤出当天的 cat access.log | grep '2021-03-23' | awk '{print $1}' | sort | uniq -c | sort -nr -k1 | head -n 10 sed命令打印出某个时间段之间的 sed -n '/2021-03-23T10:40:00/,/2021-03-23T10:50:10/p' access.log | awk '{print $1}' | s
linux 统计日志数量总,shell统计日志中时间段内匹配的数量的方法
weixin_36050894的博客
05-03 2569
shell统计日志中时间段内匹配的数量的方法，有需要的朋友可以参考下。假设日志文件mtasvr.log格式如下：T:24583088(04:02:06)[root:Info] 6KqowLDLAgC93DFIKrENAA==.41S2:from=,to=, queuedT:122428336(13:36:51)[root:Info] 6KqowLAbAAByYzJIZGsOAA==.2W:from...
Linux脚本练习之script080-nginx日志分析之IP统计
二木成林
07-20 837
统计出2020年4月23号的访问 ip 次数，并且按照次数降序排序。
nginx 每天各IP访问次数记录统计
qq_44166712的博客
02-21 2573
*此文章主要介绍了，在nginx代理的情况下，统计当天IP的出现次数，并且生成表格的相关步骤*
tomcat 崩溃疑问笔记
xyjincan
03-07 2006
/*        PUT  DELETE OPTIONS TRACE CONNECT         BASIC       27.148.158.251 - - [06/Mar/2017:00:00:13 +0800] "GET /manager/html HTTP/1.1" 404 1018 123.249.
利用lua-nginx-module实现动态IP黑名单管理
传统的手动配置方式效率低下，因此一种常见的优化方案是将IP黑名单持久化存储到数据库，如MySQL，并利用lua-nginx-module这个扩展模块来实现动态管理和刷新。以下是一个详细的实施方案： 1. **方案设计**： - 黑...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值