SHELL脚本编程----Nginx日志分析4-查询某个IP的详细访问情况

最新推荐文章于 2024-05-15 09:30:10 发布
最新推荐文章于 2024-05-15 09:30:10 发布
阅读量500 收藏 14
点赞数 18
文章标签： nginx 运维 linux bash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65237356/article/details/137966059
版权

描述

假设Nginx的日志存储在nowcoder.txt里，内容如下：

192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:23:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

现在需要编写shell脚本查询192.168.1.22的详细访问次数情况，按访问频率降序排序。你的脚本应该输出：

4 /1/index.php
2 /3/index.php

示例1

输入：

192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:23:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
输出：

4 /1/index.php
2 /3/index.php

具体代码实现：

#!/bin/bash

cat nowcoder.txt | grep "192.168.1.22" | awk '{print($7)}' | sort | uniq -c | sort -rn | awk '{print($1 " " $2)}'

解题思路：

1.先使用grep 过滤出IP地址为192.168.1.22的记录

2.对过滤出来的记录进行处理，用awk取出题目要求的信息，题目要求的信息在第七个域，所以是输出$7（awk默认隔一个空格为一个域）

3.对数据进行去重排序（注意题目要求逆序 -rn）

4.最后awk安题目要求输出

嘉木99
关注
  • 18
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SHELL编程----Nginx日志分析2-统计某个时间段的IP访问量
m0_65237356的博客
04-18 780
输出说明：2020年04月23日20点至23点，共有 192.168.1.24、192.168.1.25、192.168.1.20、192.168.1.21、192.168.1.22 共 5 个 IP 访问了。1.使用grep过滤我们想要的数据，题目中要求时间段在2020年04月23日20点至23点之间。2.取出数据后，对其进行处理，题目只要求IP的访问量，所以使用awk只提取出ip。4.去重后的行数就是我们想要的答案，所以用wc -l统计行数。
题解 | #Nginx日志分析4-查询某个IP的详细访问情况
每天多一点干货
08-29 174
校招# #内推# #秋招# #本周投递记录# 内推码：NTAATdf投递链接：https://app-tc.mokahr.com/m。#校招# #内推# #秋招# #本周投递记录# 内推码：NTAATdf投递链接：https://app-tc.mokahr.com/m。宁德时代，三七互娱，得物，快手，realme，奇安信24届秋招内推！宁德时代，三七互娱，得物，快手，realme，奇安信24届秋招内推！问下大家，小红书没填内推码，投递已经十天了，还是没有笔试邀请，是不是没戏了？面试有：百度、美团。
【Shell牛客刷题系列】SHELL26 nginx日志分析4-查询某个IP的详细访问情况
一起加油~
12-09 643
本文首先复习了grep、awk、sed、uniq等命令的相关用法；然后，给出了四种题目的解决方案。
SHELL脚本编程----nginx日志分析3-统计访问3次以上的IP
m0_65237356的博客
04-19 880
1.先使用awk文本处理器将nowcoder.txt文本中第一个域的值取出来，也就是IP地址。4.排序后使用awk对其进行最后的处理，判断重复的个数大于3的然后输出出来。2.对IP地址进行去重显示，uniq -c会显示重复的个数。3.去重后进行排序，注意题中是逆序排序，所以是-rn。
【Shell牛客刷题系列】SHELL24 nginx日志分析2-统计某个时间段的IP
一起加油~
12-08 800
本文首先复习了grep、awk、sed、cut等命令的相关用法；然后，给出了五种题目的解决方案。
【Shell牛客刷题系列】SHELL23 nginx日志分析1-IP统计
一起加油~
12-08 696
本文首先复习了substr()截取字符串函数和sort、sed、和awk命令的相关的用法；然后，给出了三种题目的解决方案，基本算是前面题目都用到过的知识点。
Linux脚本练习之script080-nginx日志分析之IP统计
二木成林
07-20 782
统计出2020年4月23号的访问 ip 次数，并且按照次数降序排序。
【Shell牛客刷题系列】SHELL28 nginx日志分析6-统计每分钟的请求数
一起加油~
12-11 650
本文首先学习了sprintf()函数的用法，然后复习了sort、awk、uniq等命令的相关用法；- 最后，给出了四种题目的解决方案。
nginx-log-exporter：一个用于Prometheus指标的Nginx日志导出器
02-04
nginx-log-exporter 用于Prometheus指标的Nginx日志解析器导出器。 安装 去获取github.com/songjiayang/nginx-log-exporter 或使用发行 用法 nginx-log-exporter -h Usage of: -config.file string Nginx log ...
nginx-proxy：使用docker-gen的Docker容器的自动nginx代理
02-02
nginx-proxy设置了一个运行nginx和的容器。 docker-gen为nginx生成反向代理配置，并在容器启动和停止时重新加载nginx。 请参阅了解为什么要使用它。用法要运行它： $ docker run -d -p 80:80 -v /var/run/docker....
集成了nginx-http-flv-module 1.2.9模块的64位nginx-1.21.4程序
11-04
采用官网下载的nginx 1.21.4、nginx-http-flv-module 1.2.9、zlib-1.2.11、openssl-1.1.1l、pcre-8.45编译而成的64位nginx程序。
监控php-fpm并自动重启服务的shell脚本
09-15
主要介绍了监控php-fpm并自动重启服务的shell脚本,脚本的主要功能：不断检查网站的状态,如果异常就重启php-fpm服务,需要的朋友可以参考下
skywalking-nginx-lua：用于Apache SkyWalking的Nginx Lua代理
02-03
Apache SkyWalking Nginx代理 Nginx代理为由Nginx LUA模块提供支持的Nginx... lua_package_path "/Path/to/.../skywalking-nginx-lua/lib/?.lua;;" ; # Buffer represents the register inform and the queue of t
RPKI资源公共密钥基础架构体系的搭建
if_Echo_else的博客
05-14 596
一、安装二、目录说明三、管理命令。
尝试使用官方jailhouse-images仓库运行jailhouse
最新发布
ScilogyHunter的博客
05-15 986
通过jailhouse 的官方 demo 演示仓库，可以直接编译出带有部署有jailhouse程序的Linux镜像，有多个目标平台的Linux镜像可选，也有在qemu下的镜像。参考文档：https://bbs.csdn.net/topics/615164494。
使用ollama离线部署小模型
weixin_45592677的博客
05-10 192
【代码】使用ollama离线部署小模型。
VirtualBox7安装ubantu server 22.04通过NAT+Only-Host双网卡实现宿主机与虚拟机互通
beansice的博客
05-12 947
时间长没用docker了，有些命令都快忘了，心血来潮想着搞个docker玩一玩，所以需要先搞一个虚拟机，因为之前CentOS用的比较多，所以这次想试一试ubantu。讲道理直接在虚拟机上操作挺难受的，窗口小，没办法复制粘贴命令，如果希望用xshell、FinalShell这些远程来操作服务器的话，还是需要配置一下的。因为ubuntu在18.04版本后使用netplan进行网络配置，所以修改网络配置的地方也有变化。还有一些使我受到启发的文章，因为意外关闭后就找不到了，再此没办法直接贴上链接了。
docker runc升级1.1.12
王羲之的之的博客
05-11 138
所有节点（包括master+node）
写一个nginx访问日志分析的shell脚本
03-02
以下是一个简单的Shell脚本，用于分析nginx访问日志： ```shell #!/bin/bash # 设置日志文件路径 LOG_FILE="/var/log/nginx/access.log" # 统计访问次数最多的前10个IP地址 echo "Top 10 IP addresses by number of requests:" awk '{print $1}' $LOG_FILE | sort | uniq -c | sort -rn | head -n 10 # 统计最常被请求的前10个URL echo "Top 10 requested URLs:" awk '{print $7}' $LOG_FILE | sort | uniq -c | sort -rn | head -n 10 # 统计最常出现的HTTP状态码 echo "HTTP status codes with count:" awk '{print $9}' $LOG_FILE | sort | uniq -c | sort -rn # 统计访问来源域名的数量 echo "Number of unique referer domains:" awk '{print $11}' $LOG_FILE | awk -F/ '{print $3}' | sort | uniq | wc -l ``` 这个脚本首先设置了nginx访问日志文件的路径，然后使用awk和其他命令来提取有用的信息并进行统计。它将输出访问次数最多的前10个IP地址、最常被请求的前10个URL、最常出现的HTTP状态码以及访问来源域名的数量。 你可以将脚本保存为文件，例如"nginx_log_analysis.sh"，然后使用chmod命令将其设置为可执行文件： ```shell chmod +x nginx_log_analysis.sh ``` 然后在终端中运行它： ```shell ./nginx_log_analysis.sh ``` 它将输出上述统计信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值