【Shell牛客刷题系列】SHELL24 nginx日志分析2-统计某个时间段的IP

已于 2022-12-16 18:42:02 修改
阅读量820 收藏 1
点赞数 1
分类专栏： # Shell 文章标签： nginx tcp/ip 服务器
于 2022-12-08 20:58:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37085158/article/details/128243575
版权

该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。

刷题链接：牛客题霸-Shell篇。

该系列文章都放到专栏下，专栏链接为：《专栏：Shell》。欢迎关注专栏~

本文知识预告：

  • 本文首先复习了grep、awk、sed、cut等命令的相关用法；
  • 然后，给出了五种题目的解决方案。

SHELL24 nginx日志分析2-统计某个时间段的IP

假设nginx的日志存储在nowcoder.txt里，内容如下：

192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:23:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"

现在需要编写shell脚本统计2020年04月23日20-23点的去重IP访问量，你的脚本应该输出

5

相关命令学习

都是前面的题讲过的命令，会了就可以跳过了…

grep：强大的文本搜索工具

grep来自于英文词组“global search regular expression and print out the line”的缩写，意思是用于全面搜索的正则表达式，并将结果输出。人们通常会将grep命令与正则表达式搭配使用，参数作为搜索过程中的补充或对输出结果的筛选，命令模式十分灵活。

与之容易混淆的是egrep命令和fgrep命令。如果把grep命令当作是标准搜索命令，那么egrep则是扩展搜索命令，等价于“grep -E”命令，支持扩展的正则表达式。而fgrep则是快速搜索命令，等价于“grep -F”命令，不支持正则表达式，直接按照字符串内容进行匹配。

语法格式： grep [参数] 文件

常用参数：

参数功能
-i忽略大小写
-c只输出匹配行的数量
-l只列出符合匹配的文件名，不列出具体的匹配行
-n列出所有的匹配行，显示行号
-h查询多文件时不显示文件名
-s不显示不存在、没有匹配文本的错误信息
-v显示不包含匹配文本的所有行
-w匹配整词
-x匹配整行
-r递归搜索
-q禁止输出任何结果，已退出状态表示搜索是否成功
-b打印匹配行距文件头部的偏移量，以字节为单位
-o与-b结合使用，打印匹配的词据文件头部的偏移量，以字节为单位
-F匹配固定字符串的内容
-E支持扩展的正则表达式

awk：文本和数据进行处理的编程语言

awk命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与sed、grep并称为Linux系统中的文本三剑客。

语法格式：awk 参数 文件

常用参数：

参数功能
-F指定输入时用到的字段分隔符
-v自定义变量
-f从脚本中读取awk命令
-m对val值设置内在限制

常用的awk内置变量：

awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。

变量名称说明
FILENAME当前输入文档的文件名
FNR当前输入文档的当前行号，尤其当多个输入文档时有用
FS设置字段分隔符，默认为空格或制表符
NF当前记录（行）的字段（列）个数
NR输入数据流的当前记录数（行号）
OFS输出字段分隔符，默认为空格
ORS输出记录分隔符，默认为换行符
RS输入记录分隔符，默认为换行符

awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列），awk每次从文件中读取一条记录。

gawk：模式扫描与处理语言

gawk是Unix中原始awk程序的GNU版本，强大之处在于可以写脚本来读取文本行的数据，然后处理并显示数据。

语法格式：gawk [参数]

常用参数：

-f从文件程序文件读取AWK程序源，而不是从第一个命令行参数。可以使用多个-f选项
-F指定描绘一行中数据字段的文件分隔符
-v定义gawk程序中使用的变量和默认值
-mr指定数据文件中的最大记录大小

sort：对文件内容进行排序

sort命令的功能是对文件内容进行排序。有时文本中的内容顺序不正确，一行行地手动修改实在太麻烦了。此时使用sort命令就再合适不过了，它能够对文本内容进行再次排序。

语法格式：sort [参数] 文件

常用参数：

-b忽略每行前面开始出的空格字符
-c检查文件是否已经按照顺序排序
-d除字母、数字及空格字符外，忽略其他字符
-f将小写字母视为大写字母
-i除040至176之间的ASCII字符外，忽略其他字符
-m将几个排序号的文件进行合并
-M将前面3个字母依照月份的缩写进行排序
-n依照数值的大小排序
-o <输出文件>将排序后的结果存入制定的文件
-r以相反的顺序来排序
-t <分隔字符>指定排序时所用的栏位分隔字符
-k指定需要排序的栏位
-s通过禁用最后的比较来稳定排序

sed：批量编辑文本文件

sed命令来自于英文词组“stream editor”的缩写，其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed命令最初由贝尔实验室开发，后被众多Linux系统接纳集成，能够通过正则表达式对文件进行批量编辑，让需要重复的工作不再浪费时间。

sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。

sed命令行格式为：

sed [-nefri] ‘command’ 输入文本

常用选项：

  • -n：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
  • -e：直接在指令列模式上进行 sed 的动作编辑；
  • -f：直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
  • -r：sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
  • -i：直接修改读取的档案内容，而不是由萤幕输出。

常用命令：

  • a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
  • c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
  • d：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
  • i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
  • p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
  • s：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g！
  • g：是行内进行全局替换

常用参数：

参数功能
-e以指定的脚本来处理输入的文本文件
-f<script文件>以指定的脚本文件来处理输入的文本文件
-h显示帮助
-n仅显示script处理后的结果
-V显示版本信息

uniq：去除文件中的重复内容行

uniq命令来自于英文单词unique的缩写，中文译为独特的、唯一的，其功能是用于去除文件中的重复内容行。uniq命令能够去除掉文件中相邻的重复内容行，如果两端相同内容中间夹杂了其他文本行，则需要先使用sort命令进行排序后再去重复，这样保留下来的内容就都是唯一的了。

划重点：去除相邻重复内容行！

语法格式：uniq [参数] 文件
常用参数：

-c打印每行在文本中重复出现的次数
-d每个重复纪录只出现一次
-u只显示没有重复的纪录

cut：按列提取文件内容

cut命令的功能是用于按列提取文件内容。常用的grep命令仅能对关键词进行按行提取过滤，而cut命令则是可以根据指定的关键词信息，针对特定的列内容进行过滤。

语法格式：cut [参数] 文件

常用参数：

-c以字符为单位进行分割
-b以字节为单位进行分割
-d自定义分隔符，默认为制表符”TAB”
-f显示指定字段的内容
-n取消分割多字节字符
--complement补足被选择的字节、字符或字段
--out-delimiter指定输出内容是的字段分割符

wc：统计文件的字节数、单词数、行数

wc命令来自于英文词组“Word count”的缩写，其功能是用于统计文件的字节数、单词数、行数等信息，并将统计结果输出到终端界面。利用wc命令可以很快的计算出准确的单词数及行数，评估出文本的内容长度。

语法格式：wc [参数] 文件

常用参数：

参数功能
-w统计单词数
-c统计字节数
-l统计行数
-m统计字符数
-L显示最长行的长度
--help显示帮助信息
--version显示版本信息

统计指定文件的单词数量：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -w nowcoder.txt
30 nowcoder.txt

统计指定文件的字节数量：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -c nowcoder.txt
142 nowcoder.txt

统计指定文件的字符数量：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -m nowcoder.txt
142 nowcoder.txt

统计指定文件的总行数：

lucky@DESKTOP-VQ8KID4:~/shell$ wc -l nowcoder.txt
9 nowcoder.txt

题目解决方案

方法一：awk+正则匹配

awk '{
    if ($0 ~ /23\/Apr\/2020:2[0-2]/) {
        a[$1]=0
    }
} END {
    print(length(a))
}'

方法二：grep+sort+uniq

grep "23/Apr/2020:2[0-3]" nowcoder.txt | awk '{print $1}' | sort | uniq | wc -l

方法三：grep+cut+sort+wc

grep "23/Apr/2020" | cut -c '-12' | sort -u | wc -l

方法四：grep+awk+sort+uniq

grep -E "23/Apr/2020:2[0-3]" nowcoder.txt | awk -F " " '{print $1}' | sort | uniq -c | awk 'END{print NR}'

方法五：gawk+substr+sort+uniq+wc

gawk -F ' ' '{
	if((substr($4,2,11)=="23/Apr/2020") && (substr($4,14,2)<=23 && substr($4,14,2)>=20)) 
		print $1
}' nowcoder.txt | sort | uniq -c | wc -l

方法五：gawk+正则匹配+sort+uniq+wc

gawk '$4~ /23\/Apr\/2020:2[0-2]/ {print $1}  ' nowcoder.txt | sort | uniq | wc -l
奋斗的西瓜瓜
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
统计Nginx日志里前一个小时的IP数量以及IOS占比
07-19
Nginx日志的原始时间格式无法通过date命令转换，所以自己写了脚本转换格式
Linux脚本练习之script081-nginx日志分析之统计某个时间段的IP
二木成林
07-20 695
统计2020年04月23日20-23点的去重IP访问量。
Linux脚本练习之script080-nginx日志分析之IP统计
二木成林
07-20 811
统计出2020年4月23号的访问 ip 次数，并且按照次数降序排序。
nginx 日志分割、缓存及日志分析、统计ip
qq_44637753的博客
05-06 893
nginx日志分割 nginx日志分割是nginx本身自带，不需重新编译。 直接在server中添加即可。 log_format main '$remote_addr $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '$http_user_agent $http_x_forwarded_for $request_t
nginx日志分析及其统计PV、UV、IP
wangcunhang的博客
07-06 564
sed -n '/04\/Nov\/2020:10/,/04\/Nov\/2020:12/p' access.log > test.log #打印任意时间段的日志。cat access.log | egrep "04/Nov/2020:10" > test.log #打印一小时的日志。$time_local 访问时间和时区 18/Jul/2012:17:00:01 +0800。$http_referer url跳转来源 https://www.baidu.com/
牛客刷题总结.docx
01-28
"牛客刷题总结" 本资源摘要信息主要涵盖了 Java 语言的基础知识点、设计模式和事务处理。下面是详细的知识点解释： 一、Java 基础知识 1. Java 源程序只能有一个 public 类存在，且类名与文件名相同。这是因为 ...
关于牛客刷题总结全部汇总
02-21
关于牛客刷题总结全部汇总 本资源摘要信息主要讲述了 Java 语言的基本概念、设计模式、MVC 模式、数学函数、重载和重写的区别、多态、数组、静态成员和方法、事务属性等知识点。 一、Java 基本概念 1. Java 源...
牛客SQL刷题 Day-07
12-14
2、将employees表的所有员工的last_name和first_name拼接起来作为Name，中间以一个空格区分 3、创建一个actor表，包含如下列信息 4、对于表actor批量插入如下数据 5、对于表actor批量插入如下数据,如果数据已经存在...
leetcode卡-Java-Algorithm:大学期间学习到的数据结构算法，LeetCode和牛客刷题代码。保存下来，方便以后查看
07-06
大学期间学习到的数据结构算法，LeetCode和牛客刷题代码。保存下来，方便以后查看。 时间：2020/04/27 电脑：宏碁E5-572-58HZ CPU：i5-4210M 显卡：英伟达独立显卡940M，2G显存 内存：8G 1600MHzDDR3 硬盘：256G...
牛客python数据分析代码笔记
最新发布
04-10
牛客python数据分析代码笔记
统计一定时间段nginx日志发送的报文数
weixin_33866037的博客
02-28 350
#!/bin/bash list=`awk'/19:/,/21:/{print$10}'/data/opt/nginx/logs/access.log|tr-d"[[:punct:]]|[[:alpha:]]"` sum=0 foriin$list;do sum=$[$sum+$i] done echo$sum2017/05/04awk-...
【shell】shell脚本在大文件日志中按照时间段快速搜索日志
热门推荐
LZJing的专栏
05-06 1万+
问题描述： 在大流量线上服务中，日志系统会产生数量庞大的日志，动辄就是几十G。在如此之大的文件中快速搜索日志是运维人员经常遇见的问题。我们经常遇见的问题是查询一段时间内的某些条日志。比如，今天有一个访问失败了，大约是在上午9点，把这条日志找出来。查找失败原因。 常见处理方式及缺点： 1.如果文件比较小，100m以内使用grep、awk或者sed进行逐条匹配比较方便，但是文
查看IP访问量的shell脚本汇总
m0_52165864的博客
08-11 2404
NF指的是最后一个字段。NR是指定行号。FS是指定分隔符。OFS是指定输出分隔符。获取访问前10为的ip地址
快速提取NGINX/apache 给定时间段的日志
ikko的博客
05-05 851
生产环境有时候会因为访问量很大，记录下来超大的日志，晚高峰出现问题时候要通过检查日志来排查问题，面对几百G以上甚至T级别的日志，使用less 查看会和搜索会非常慢，最好的方法是通过行编辑工具（grep、awk）将需要的日志提取出来查看，但是行编辑工具有一个缺陷就是要按行读取，从首行开始读取到晚高峰的日志也需要耗费大量的读IO以及时间。这里举例使用的是nginx日志。为了能提高效率我写了这个脚本，通过二分查找法检查每一行的日志的时间，迅速定位到需要提取的日志首行和尾行，将需要的日志提取出来。
使用 Shell 命令统计 Nginx 访问量
ci20151121的博客
08-30 959
对于一个网站，访问量是运营工作中至关重要的指标。如果你的网站是运行在 Linux 服务器上，并通过 Nginx 提供 Web 服务，那么可以通过 Linux Shell 脚本来统计网站页面的访问情况。本文将带你了解如何通过 Shell 命令来统计 Nginx 的访问量。 访问量相关的指标 在正...
linux怎么查找日志文件中某个时间段的,xshell查看指定日志 xshell如何查看某个指定时间段的日志...
weixin_30975237的博客
05-01 1385
这是查看9:45到10：00的日志，有点复杂，但是好用。grep-E'09:(4[5-9]|5[0-9])|10:(0[0-9]|[1-3][0-9]|4[1-5])'日志文件其他常用命令：1：cd 是进入下一级目录命令例如：cd /folder1/folder2/folder32：复制文件：cp -r 【需要复制的文件名】/ 【复制成的文件名】例如：复制fileName 重命名为fileN...
获取nginx日志用户点击某个链接的IP个数
weixin_41071226的博客
12-13 156
/执行获取点击营销链接的请求ip,过滤重复ip。//处理获取的shell命令的输出信息。//获取用户点击营销链接的IP个数。//最后关闭session资源。//执行shell命令。//哪个时间点有请求。
Nginx状态监控及日志分析
后端老鸟
06-01 2796
【转载请注明出处】：https://www.jianshu.com/p/59ed801213ca 1、Nginx状态监控 Nginx提供了一个内置的状态信息监控页面可用于监控Nginx的整体访问情况，这个功能由ngx_http_stub_status_module模块进行实现。 使用nginx -V 2>&1 | grep -o with-http_stub_status_module命令检测当前Nginx是否有status功能，如果输出ngx_http_stub_status_module则
nginx日志IP统计
weixin_34249678的博客
11-27 125
命令统计apache或nginx日志中访问最多的100个ip及访问次数，这个在以前做日志统计的时候经常用到 awk '{print $1}' 日志地址 | sort | uniq -c | sort -n -k 1 -r | head -n 100 本文转自 yawei555 51CTO博客，原文链接：http://blog.51cto.com/h...
牛客刷题 jsnode 输入输出
08-25
在牛客网上刷题，使用 JavaScript 和 Node.js 进行输入输出操作是非常常见的。下面是一个简单的示例，演示如何使用 Node.js 读取标准输入并输出结果： ```javascript // 导入内置的 `readline` 模块 const readline...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奋斗的西瓜瓜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值