Linux脚本练习之script083-nginx日志分析之查询某个IP的详细访问情况

最新推荐文章于 2024-08-20 03:32:23 发布
最新推荐文章于 2024-08-20 03:32:23 发布
阅读量898 收藏 1
点赞数
分类专栏： # Shell脚本 文章标签： linux nginx 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cnds123321/article/details/125813947
版权
该博客介绍了如何利用grep、awk和sort命令组合来查询nginx日志中特定IP地址的访问详情，特别是如何统计访问频率并按降序排序。提供了三种不同的shell脚本实现方式，包括基于grep的管道处理，直接awk匹配以及使用awk关联数组的方法。
摘要由CSDN通过智能技术生成

script083

题目

注：题目来源于 SHELL26 nginx日志分析4-查询某个IP的详细访问情况 。

假设 nginx 的日志我们存储在 nowcoder.txt 里，格式如下：

192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:23:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

现在需要你查询 192.168.1.22 的详细访问情况，按访问频率降序排序。你的脚本应该输出：

4 /1/index.php
2 /3/index.php

脚本一

首先通过 grep 命令查找到 IP 地址是 192.168.1.22 的记录行；然后通过 awk 命令提取第七列，即访问路径；然后通过 sort 命令对其进行排序；排序后重复路径相邻，所以可以通过 uniq -c 命令统计去重后的每条路径的出现次数；再通过 sort 命令按照访问频率降序排列；最后通过 awk 命令调整第一列和第二列的出现顺序，让出现次数在第一列，路径在第二列。

grep "192.168.1.22" nowcoder.txt  | awk '{print $7}' | sort | uniq -c | sort -nr | awk '{print $1,$2}'

脚本二

直接通过 awk 命令来进行正则表达式匹配，查找第七列路径列。

awk '/192.168.1.22/{print $7}' nowcoder.txt | sort | uniq -c | sort -nr | awk '{print $1,$2}'

脚本三

利用了关联数组，将查找到的路径放进关联数组中，并统计其出现次数；再在 END{} 中打印关联数组中的路径和出现次数；最后使用 sort 命令降序排列。

awk '/192.168.1.22/{map[$7]++} END{for(k in map) print map[k],k}' nowcoder.txt | sort -nr
二木成林
关注
专栏目录
5.第二章 Linux基础入门和帮助 -- Linux 基础和帮助(三)
Raymond的博客
12-07 304
1.8 字符集和编码 许多场合下，字符集与编码这两个概念常被混为一谈，但两者是有差别的。字符集与字符集编码是两个不同层面的概念 charset是character set的简写，即字符集，即二进制和字符的对应关系，不关注最终的存储形式encoding是charset encoding的简写，即字符集编码，简称编码，实现如何将字符转化为实际的二进制进行存储或相反，编码决定了空间的使用的大小 1.8.1 ASCII码 计算机内部，所有信息最终都是一个二进制值。上个世纪60年代，美国制定了一套字符编码，对英语字
nginx负载均衡后如何记录来访者IP访客IP浏览者的IP
01-05
nginx负载均衡后如何记录来访者IP访客IP浏览者的IP
统计Apache或nginx日志里访问次数最多的前十个IP
weixin_34239169的博客
08-26 664
nginxawk'{print$1}'urlogfile|sort|uniq-c|sort-nr-k1|head-n10 awk'{print$1}'/usr/local/nginx/logs/localhost.access.log|sort|uniq-c|sort-nr-k1|head-n10Apachecd...
查看NGINX服务器的日志有多少个IP访问
最新发布
weixin_41921190的博客
08-20 13
方法：awk '{print $1}' /var/log/nginx/access.log | sort | uniq | wc -l登录后复制 [root@logstash nginx]# awk '{print $1}' /var/log/nginx/access.log | sort | uniq | wc -l ...
​查看nginx的access日志某个ip的访问记录并导入到临时文件​
熬夜波比
07-19 738
nginx的access日志某个ip的访问记录并导入到临时文件。
nginx日志格式记录
weixin_34080903的博客
04-26 331
Nginx中日志文件的格式在nginx.conf中定义，其默认格式如下: log_format main '$remote_addr - $remote_user [$time_local] " $request" ' '$status $body_bytes_sent "$http_referer" ' ...
在日志文件中查询IP出现次数（可用户排查是否被刷）
绮罗郁金香的博客
05-29 397
统计IP出现次数
四章——Nginx网站服务（应用——linux防护与群集）
MKC__jiaoq的博客
08-30 3421
三期总目录链接
linux日常运维练习题
06-10
Linux 日常运维练习题 本文总结了 Linux 日常运维中常见的实践问题，涵盖了 Linux 系统的基本命令、系统监控、进程管理、网络配置、安全设置、文件传输等方面。 1. 如何看出当前 Linux 系统有几颗物理 CPU 和没课 ...
Linux靶机练习
SYJ_361的博客
03-27 9110
这里是对Linux靶机的各种练习，包括Lampiao、Raven2、Tr0ll、zico2、DC-6、DC-9等，利用kali、蚁剑等对靶机进行提权，并找到root里面的flag文件
SHELL脚本练习（持续更新）
weixin_44983653的博客
07-08 736
常见脚本编程
IP日志量查询工具
05-13
本工具可实现IP日志的批量查询，可直接将带IP的日志内容直接复制到查询框内，工具将一次查询出所有的地址，并且本工具还自带日志内容筛选工功能。
获取客户端的IP地址（过滤代理）
不积跬步无以至千里，不积小流无以成江河
11-20 1013
下面的工具， 能满足绝大部分应用环境，但并不是百分百。 //获取ip public static String getIpAddress(HttpServletRequest request) { String ip = null; //X-Forwarded-For：Squid 服务代理 String ipAddresses =...
shell日志分析--支持分析日志访问路径，统计访问IP，IPTABLES解与封
心　境地
04-28 3637
#!/bin/bash #特性： #1,可分析多个网站项目日志 #2,每个网站项目日志可根据关键字进行统计分析 #3,可调整访问IP次数的阀值（超过多少次加入到墙） #4,可调整IP封的时间 #5,可在定时任务修改分析日志的时间间隔 #6,防火墙在封的时候进行了去重，不会封同样的IP #-----zhaoll@ ##########################################
Linux脚本练习之script080-nginx日志分析之IP统计
二木成林
07-20 828
统计出2020年4月23号的访问 ip 次数，并且按照次数降序排序。
linux安装nginx和查看ip地址命令（ubuntu）
小码农一枚
12-25 3965
查看ip地址： sudo apt-get install net-tools 、ifconfig  安装nginx命令： sudo apt-get install nginx 文件位置： /usr/sbin/nginx：主程序目录；/etc/nginx：存放配置文件目录； /usr/share/nginx：存放静态文件目录；/var/log/nginx：存放日志目录 启动nginx命...
根据nginx日志统计ip访问量
热门推荐
wudinaniya的博客
10-23 1万+
根据nginx日志统计ip访问量，由浅入深，逐步讲解。涉及命令 awk、sort、uniq nginx access.log 日志内容截图如下： nginx access.log日志统计第一列 ip [root@izbp1845cet96se1qmb5ekz logs]# ls access.log error.log nginx.pid [root@izbp1845c...
hive清洗nginx日志之根据IP获取对应城市
qq_48959845的博客
06-18 652
3，继承GenericUDTF重写initialize，process，close 1，引入ip2region（一个IP查询库，准确率99.9%的离线IP地址定位库，0.0x毫秒级查询，ip2region.db数据库只有数MB，提供了java,php,c,python,nodejs,golang,c#等查询绑定和Binary,B树,内存三种查询算法，比以往我们自己调网上的接口方便多了） 2，下载ip2region.db，需要的评论区告诉我 放在resource目录下 注意：URL url = new
Nginx访问IP检测及屏蔽
weixin_43741408的博客
07-05 671
【代码】Nginx访问IP检测及屏蔽。
使用Awstats分析Nginx访问日志及配置自动切割
"这篇文章主要讲解如何使用Awstats分析Nginx的访问日志，并配置Nginx自动切割日志。Awstats是一个强大的基于Perl的Web日志分析工具，能够提供详细的网站访问统计数据，如访问次数、独特访客、访问时间、用户浏览器、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值