Linux脚本练习之script080-nginx日志分析之IP统计

最新推荐文章于 2024-08-10 06:00:00 发布
最新推荐文章于 2024-08-10 06:00:00 发布
阅读量828 收藏 2
点赞数
分类专栏： # Shell脚本 文章标签： linux shell bash
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cnds123321/article/details/125813800
版权
这篇博客介绍了如何使用Shell脚本来从nginx日志中提取特定日期（如2020年4月23日）的访问IP，并按访问次数降序排序。提供了三种不同的Shell脚本实现方式，分别是利用grep、awk、sort和uniq-c命令的组合，以及使用bash关联数组和awk的内建数组。这些脚本能够有效地统计和排序日志中的IP访问频率。
摘要由CSDN通过智能技术生成

script080

题目

注：题目来源于 SHELL23 nginx日志分析1-IP统计 。

假设 nginx 的日志我们存储在 nowcoder.txt 里，格式如下：

192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

现在需要你统计出2020年4月23号的访问 ip 次数，并且按照次数降序排序。你的脚本应该输出：

5 192.168.1.22
4 192.168.1.21
3 192.168.1.20
2 192.168.1.25
1 192.168.1.24

脚本一

首先使用 grep 命令检索到2020年4月23号的记录行；接着使用 awk 命令打印第一个字段域，即 IP 地址列；接着通过 sort 命令排序；再通过 uniq -c 命令对排序后的结果进行去重统计出现次数；再通过 sort -nr 命令对每个 IP 地址的出现次数逆序排列；最后通过 sed 命令去重行首多余的空格。

grep "23/Apr/2020" nowcoder.txt | awk '{print $1}' | sort | uniq -c | sort -nr | sed 's/[ \t]*//'

脚本二

通过 shell 编程实现，首先使用 declare 命令声明一个关联数组；再循环读取文件中的每一行的 IP 地址，将其出现次数记录在关联数组中；由于要对最终结果降序排列，所以不仅要输出关联数组的键名和对应的键值，还得把它们拼接成一个字符串通过管道符传递给 sort 命令排序。

#!/bin/bash

# 声明一个关联数组
declare -A map

# 循环读取文件中的每一行，提取每行的 IP 地址，以 IP 地址作为关联数组的键名，对应的出现次数作为键值
while read line; do
  # 如果不是2020年4月23号的记录则跳过
  if ! echo "${line}"| grep "23/Apr/2020" > /dev/null; then
    continue 
  fi
  # 提取文本行的 IP 地址
  ip=$(echo "${line}" | awk '{print $1}')
  # 把出现次数记录在关联数组中
  map["${ip}"]=$(( map["${ip}"] + 1 ))
done < nowcoder.txt  

# 把IP地址和出现次数记录在这个变量上，为了能排序
result=""
# 循环输出关联数组中的所有元素
for k in ${!map[@]} ; do
  if [ -z "${result}" ]; then
      result="${map[$k]} ${k}"
  else
      result="${result}\n${map[$k]} ${k}"
  fi
done
# 最终对结果进行排序
echo -e "${result}" | sort -nr

脚本三

跟脚本二的原理一样，只是通过 awk 命令来完成，都是通过关联数组来完成的。

awk '/23\/Apr\/2020/{map[$1]++} END{for(k in map) print map[k],k}' nowcoder.txt | sort -nr
二木成林
关注
专栏目录
5.第二章 Linux基础入门和帮助 -- Linux 基础和帮助(三)
Raymond的博客
12-07 304
1.8 字符集和编码 许多场合下，字符集与编码这两个概念常被混为一谈，但两者是有差别的。字符集与字符集编码是两个不同层面的概念 charset是character set的简写，即字符集，即二进制和字符的对应关系，不关注最终的存储形式encoding是charset encoding的简写，即字符集编码，简称编码，实现如何将字符转化为实际的二进制进行存储或相反，编码决定了空间的使用的大小 1.8.1 ASCII码 计算机内部，所有信息最终都是一个二进制值。上个世纪60年代，美国制定了一套字符编码，对英语字
统计Nginx日志里前一个小时的IP数量以及IOS占比
07-19
Nginx日志的原始时间格式无法通过date命令转换，所以自己写了脚本转换格式
根据nginx日志统计ip访问量
wudinaniya的博客
10-23 1万+
根据nginx日志统计ip访问量，由浅入深，逐步讲解。涉及命令 awk、sort、uniq nginx access.log 日志内容截图如下： nginx access.log日志统计第一列 ip [root@izbp1845cet96se1qmb5ekz logs]# ls access.log error.log nginx.pid [root@izbp1845c...
查看NGINX服务器的日志有多少个IP访问
最新发布
z19861216的博客
08-10 157
查看NGINX服务器的日志有多少个IP访问
nginx 日志分割、缓存及日志分析、统计ip
qq_44637753的博客
05-06 994
nginx日志分割 nginx日志分割是nginx本身自带，不需重新编译。 直接在server中添加即可。 log_format main '$remote_addr $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '$http_user_agent $http_x_forwarded_for $request_t
Nginx 日志文件 访问IP统计
热门推荐
stevewong的专栏
08-01 1万+
问题描述Nginx访问日志文件内容如下：10.9.40.134 - - [01/Aug/2016:06:29:42 +0800] "POST / HTTP/1.1" 302 0 "-" "python-requests/2.4.3 CPython/2.7.9 Linux/3.16.0-4-amd64" 10.9.40.134 - - [01/Aug/2016:06:29:42 +0800] "GET
四章——Nginx网站服务（应用——linux防护与群集）
MKC__jiaoq的博客
08-30 3421
三期总目录链接
linux日常运维练习题
06-10
Linux 日常运维练习题 本文总结了 Linux 日常运维中常见的实践问题，涵盖了 Linux 系统的基本命令、系统监控、进程管理、网络配置、安全设置、文件传输等方面。 1. 如何看出当前 Linux 系统有几颗物理 CPU 和没课 ...
Linux靶机练习
SYJ_361的博客
03-27 9110
这里是对Linux靶机的各种练习，包括Lampiao、Raven2、Tr0ll、zico2、DC-6、DC-9等，利用kali、蚁剑等对靶机进行提权，并找到root里面的flag文件
SHELL脚本------基础知识
excellent_L的博客
12-26 463
一、shell的简单了解 一、什么是shell？ shell也是操作系统中的一个软件，它包在linux内核的外面，为用户和内核之间的交互提供了一个接口，系统中的命令用shell去解释shell接受系统回应的输出并显示其到屏幕中。 二、什么是shell脚本？ 1.简单的说，当命令或者程序不在命令行执行，而是通过一个程序文件来执行，这个程序就被称为shell脚本。 2.也就是在shell脚本...
linux统计ip访问情况，要求分析nginx访问日志，找出访问页面数量在前十位的ip
qq_33240556的博客
02-07 819
注意，这个命令假设你的Nginx访问日志文件的格式是标准的 Combined Log Format。如果你的访问日志文件使用了不同的格式，你可能需要修改。命令来分析Nginx访问日志，并找出访问页面数量在前十位的IP地址。如果你想只显示访问页面数量在前十位的IP地址，你可以添加。首先，假设你的Nginx访问日志文件名为。命令的参数以正确地提取IP地址。在Linux中，你可以使用。
nginx日志，怎么统计每个ip的访问量---汇总 2020-10-15
u010695981的博客
10-15 322
1.根据访问IP统计UV awk '{print $1}'access.log|sort | uniq -c |wc -l 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l 3.查询访问最频繁的URL awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more 4.查询访问最频繁的IP awk '{print $1}' access.log|sort | uniq -c |s..
nginx日志，怎么统计每个ip的访问量
allen的博客
03-27 1017
根据访问IP统计UV awk '{print $1}'access.log|sort | uniq -c |wc -l 统计访问URL统计PV awk '{print $7}' access.log|wc -l 查询访问最频繁的URL awk '{print $7}' access.log|sort | uniq -c |sort -n -k 1 -r|more 查询访问最频...
通过Nginx的log日志对站点进行数据统计
NueXini的博客
12-09 769
请自行确认nginx的日志是否开始且知道access.log文件所在位置。
Nginx统计访问IP并排序
gtlaltt的博客
08-04 1526
nginx 访问日志格式如下： xxx.xxx.xxx.xxx - - [17/04/2020:02:58:45 +0000] "GET / HTTP/1.1" 502 166 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0" xxx.xxx.xxx.xxx - - [17/04/2020:02:58:45 +0000] "GET / HTTP/1.1" 502 166 "-" "Mo
统计 nginx 日志里的 ip访问 （排重）
燕雀笔记博
12-05 323
linux 查看nginx 日志， 统计ip访问量(排重) cat access.log | awk '{ips[$1]+=1} END{for(ip in ips) print ips[ip],ip}' | sort -nr   加 wc -l 查看 数量
通过nginx日志统计一段时间内ip的访问次数进行排序&访问量统计
小啊宇的博客
03-23 4390
查看nginx日志位置 find / -name access.log grep命令过滤出当天的 cat access.log | grep '2021-03-23' | awk '{print $1}' | sort | uniq -c | sort -nr -k1 | head -n 10 sed命令打印出某个时间段之间的 sed -n '/2021-03-23T10:40:00/,/2021-03-23T10:50:10/p' access.log | awk '{print $1}' | s
【Shell牛客刷题系列】SHELL24 nginx日志分析2-统计某个时间段的IP
一起加油~
12-08 852
本文首先复习了grep、awk、sed、cut等命令的相关用法；然后，给出了五种题目的解决方案。
利用lua-nginx-module实现动态IP黑名单管理
传统的手动配置方式效率低下，因此一种常见的优化方案是将IP黑名单持久化存储到数据库，如MySQL，并利用lua-nginx-module这个扩展模块来实现动态管理和刷新。以下是一个详细的实施方案： 1. **方案设计**： - 黑...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值