用shell统计访问日志里每个ip访问次数

最新推荐文章于 2024-07-13 17:27:35 发布
最新推荐文章于 2024-07-13 17:27:35 发布
阅读量5.7k 收藏 7
点赞数
分类专栏： Linux 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34306360/article/details/78718192
版权
本文介绍了如何通过Shell脚本分析Linux系统中Nginx的访问日志，统计每个IP地址在特定日期的访问次数，并计算平均每分钟的请求次数。详细步骤包括筛选指定日期的日志、使用awk、sort和uniq命令提取IP，以及遍历IP进行计数。
摘要由CSDN通过智能技术生成
今天，要统计一个系统的每个ip访问次数，于是我找到该系统访问日志，并写脚本实现。

访问日志情况：
[root@qular ~]# cd /usr/local/nginx/logs/
[root@qunlar logs]# head access.log 
59.151.44.186 - - [15/Dec/2014:20:19:11 +0800] "POST http://ebws.travelsky.com/etcwip/services/CWIPService HTTP/1.0" 200 22584
最低0.47元/天 解锁文章
jianghu0
关注
专栏目录
Linux面试常问笔试题：统计访问日志中，昨天的访问量和每个客户的访问次数
qwgvfb的博客
04-13 1399
假设日志文件是：access.log 内容格式是：ip 192.168.10.100 time 20220413 10：05：20 如图： 我们先来说一下思路: 抓日志文件中的文件要用时间戳，然后统计行数就是一天的访问量；要看每个客户的，就要用ip排序然后去重，得到客户的列表，导入到临时文件，然后逐行读取文件，再重新抓一下所有的日志文件做对比统计次数，导入到临时文件，再对临时文件做排序。 shell代码如下： #!/bin/bash echo "--------------...
shell脚本统计ip数
阿基米德来了的博客
04-15 1390
有统计访问用户地理位置的需求，故通过对用户访问信息中ip地址的处理，来整理出用户ip地址和地理位置 文件格式如下： 1555315829.907 ad170ef2-35bf-11e9-906b-286ed488c99f [2019-04-15T16:10:29+08:00] elb 49.69.197.165:64361 1555315830.429 ad...
用shell统计访问日志里每个ip访问次数【转】
weixin_34185364的博客
12-21 743
今天，要统计一个系统的每个ip访问次数，于是我找到该系统访问日志，并写脚本实现。   访问日志情况： [root@qular ~]# cd /usr/local/nginx/logs/ [root@qunlar logs]# head access.log  59.151.44.186 - - [15/Dec/2014:20:19:11 +0800] "POST http://ebw...
Nginx 日志统计分析命令
最新发布
兴趣是最好的老师，勤能补拙
07-13 1112
Nginx 日志统计分析命令
shell复习—统计重复ip地址次数
weixin_45062283的博客
07-17 935
今天在复习shell的过程中，想起来之前遇到过的一道面试题，如何去除两个文件中的重复数据？ 我的第一反应就是用 uniq cat file1 file2｜sort｜uniq > resultfile 当然这个回答上来面试官就会继续往下问扩展内容，其实也是日常工作中经常遇到的。 log文件中记录访问信息，里面包含ip地址等信息，想统计每个ip地址访问的次数 （我老板在面试别人的时候也很喜欢面这道题????????????每次我坐在旁边的时候一直都在想，我能不能写出来） 先思考一下最简单的处理情况，lo
shell习题--统计每个IP的访问量
aoli_shuai的博客
05-04 962
shell统计每个IP的访问量 题目要求： 找出日志里面每个IP的访问量 如：1.log 127.0.0.1 - - [21/Dec/2017:16:33:21 +0800] “HEAD HTTP://111.com/ahdj.jpg1 HTTP/1.1” 404 - “-” “curl/7.29.0” 192.168.176.1 - - [21/Dec/2017:22:...
《文本处理 awk sed grep ”三剑客”》<Linux核心命令
03-03
Re：《文本处理 awk sed grep ”三剑客”》 ============================================================== 本人在教学和实战过程中发现，即便是有一定运维经验的人，可能已经能够搭建一定复杂度的Linux架构，但是在来来回回的具体操作中，还是体现出CLI（命令界面）功底不够扎实，甚至操作的非常‘拙’、处处露‘怯’。 对一个士兵来说，枪就是他的武器，对于一个程序员来说，各种library（工具库）就是他的武器；而对于Linux运维人员来说，无疑命令行工具CLI（命令界面）就是他们的武器；高手和小白之间的差距往往就体现在对于这些“武器”的掌握和熟练程度上。有时候一个参数就能够解决的事情，小白们可能要写一个复杂的Shell脚本才能搞定，这就是对CLI（命令界面）没有理解参悟透彻导致。 研磨每一个命令就是擦拭手中的作战武器，平时不保养不理解，等到作战的时候，一定不能够将手中的武器发挥到极致，所以我们要平心、静气和专注，甘坐冷板凳一段时间，才能练就一身非凡的内功！ 本教程从实战出发，结合当下流行或最新的Linux（v6/7/8 版本）同时演示，将命令行结合到解决企业实战问题中来，体现出教学注重实战的务实精神，希望从事或未来从事运维的同学，能够认真仔细的学完Linux核心命令的整套课程。 本课程系列将逐步推出，看看我教学的进度和您学习的步伐，孰占鳌头！ 注：关于教学环境搭建，可以参考本人其它课程系列，本教学中就不再赘述！ 《参透 VMware 桌面级虚拟化》 《在虚拟机中安装模版机（包括应用软件等）》 《SecureCRT 连接 GNS3/Linux 的安全精密工具》---------------------------------------         
shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询）
09-15
本文将介绍一个用于分析`nginx`日志的`shell`脚本，该脚本能够帮助我们找出访问次数最多和最耗时的页面，从而针对性地进行优化。这个脚本类似于`MySQL`中的慢查询日志分析，但针对的是Web页面的慢访问情况。 首先，...
Linux命令学习--统计log中每个IP的访问次数
凤凰传奇的粉丝
05-05 7424
cat access.log输出该log文件的内容 sed -rn '/28\/Jan\/2015/p' 将含有该字段的的行输出来，即选定特定的日期。sed主要进行文本操作。 awk '{print $1}' |sort |uniq 输出该行第一项，并sort排序，uniq去除重复的。这样ipnum.txt里面即为所有的被访问ip. 遍历ipnum.txt里的每一个ip，在acces...
Shell 分析服务器日志命令总结
tigerman20201的博客
03-07 483
常见的Linux系统的一些能力就不一定都能覆盖了。今天老李给大家分享一些关于日常运维常常会用到的SHELL脚本，希望能够给大家在工作中提出一点启发。 1、查看有多少个IP访问： awk '{print $1}' log_file|sort|uniq|wc -l 2、查看某一个页面被访问的次数： grep "/index.php" log_file | wc -l 3、查看每一个IP访问了多少个页面： awk '{++S[$1]} END {for (a in S) print a,S[a]
【亲测可用】Linux三剑客命令grep,sed,awk(cut)案例练习
wuhuagu_wuhuaguo的博客
07-21 4680
目录 一、cut与awk 1、处理access1.log文件内容,将域名取出并根据域名进行计数排序处理(百度和sohu面试题) 方法1: cut -d -f 方法2: awk -F print 方法3: awk数组 方法4: cut与awk数组 方法5: grep 2、已知access2.log，第一列是文件名，第二列是版本号，打印出每个文件最大的版本号一行。 3、access3.log内容如下: 4、access4.log内容如下： 二、sed 1、反倒是 2、倒叙 一、cut
linux通过日志查看访问量,访问日志access.log统计ip和每个地址访问的次数
weixin_42602241的博客
05-01 1620
access.log：192.168.1.247 - - [02/[ul/2015:23:44:59 [0800] "GET /[HTTP/1.1 200 19"192.168.1.246 - - [02/[ul/2015:23:44:59 [0800] "GET /[HTTP/1.1 200 19"192.168.1.245 - - [02/[ul/2015:23:44:59 [0800] "G...
shell编程中crontab用法超级详解！
魏波
08-28 3795
使用crontab你可以在指定的时间执行一个shell脚本或者一系列Linux命令。 时间格式：{minute} {hour} {day-of-month} {month} {day-of-week} {full-path-to-shell-script} （分钟 小时 天 月 星期 命令） o minute: 区间为 0 – 59 o hour: 区间为0 – 23 o day-of-mo......
shell统计ip访问情况并分析访问日志
weixin_30702413的博客
07-19 128
有日志 1.log，部分内容如下： 112.111.12.248–[25/Sep/2013:16:08:31+0800]formula-x.haotui.com“/seccode.php?update=0.5593110133088248″200″http://formula�x.haotui.com/registerbbs.php”“Mozilla/4.0(compatible;...
shell脚本---apache访问日志access.log统计IP和每个地址访问的次数，按访问量列出前10名
weixin_69899223的博客
07-12 788
shell脚本---apache访问日志access.log统计IP和每个地址访问的次数，按访问量列出前10名
Linux通过日志文件统计IP访问次数排序
热门推荐
keketrtr的专栏
11-22 1万+
假设我的日志文件内容如下： 218.92.217.53 - - [22/Nov/2017:17:26:27 +0800] "GET /images/rand HTTP/1.0" 200 1785 "https://www.baidu.com/index.shtml" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Triden
Shell习题02——统计IP访问量
晴川的博客
01-28 474
题目要求 有日志1.log，部分内容如下 112.111.12.248 – [25/Sep/2013:16:08:31 +0800]formula-x.haotui.com “/seccode.php?update=0.5593110133088248″ 200″http://formula-x.haotui.com/registerbbs.php” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)” 61.147.76.51 – [25/S
shell 统计浏览器端ip和访问次数
zyb378747350的专栏
01-19 1223
统计nginx 访问浏览器客户端ip地址和访问次数，并且按访问次数大到小排序：日志格式：xxx|124.236.110.26|-|[17/Jan/2018:03:00:27 +0800]|GET /wzy_wifi71/a3/?dcwpf0dc4=1515990033590 HTTP/1.1|200|54217|http://xxx/a3/|Mozilla/5.0 (Linux; Android
web网站统计访问量，看谁访问的最多使用shell脚本
05-30
然后使用grep命令从日志文件中提取出时间段内的访问记录，再使用awk命令提取出每个访问记录中的IP地址，最后使用sort和uniq命令统计每个IP地址的访问次数并按照访问次数从大到小排序。最后输出访问次数最多的前10个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值