统计nginx日志单IP访问请求数排名

最新推荐文章于 2021-01-23 12:47:19 发布
最新推荐文章于 2021-01-23 12:47:19 发布
阅读量239 收藏
点赞数
文章标签： 运维 awk 操作系统
原文链接：http://www.cnblogs.com/zhutianpeng/p/4249904.html
版权

下面是我截取一段nginx日志

127.0.0.1 - - [20/Jan/2015:10:54:02 +0800] "GET / HTTP/1.1" 200 20808 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
127.0.0.1 - - [20/Jan/2015:10:54:03 +0800] "GET /favicon.ico HTTP/1.1" 404 151 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
127.0.0.1 - - [20/Jan/2015:10:54:15 +0800] "GET /index.php HTTP/1.1" 200 20806 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
127.0.0.1 - - [20/Jan/2015:10:54:23 +0800] "GET /index.html HTTP/1.1" 404 151 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
127.0.0.1 - - [20/Jan/2015:10:56:08 +0800] "GET /index.html HTTP/1.1" 200 45 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
127.0.0.1 - - [20/Jan/2015:11:31:33 +0800] "GET / HTTP/1.1" 200 45 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
192.168.60.200 - - [20/Jan/2015:11:55:11 +0800] "GET / HTTP/1.1" 200 45 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
192.168.60.200 - - [20/Jan/2015:11:55:11 +0800] "GET /favicon.ico HTTP/1.1" 404 151 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
192.168.60.200 - - [20/Jan/2015:11:55:11 +0800] "GET /favicon.ico HTTP/1.1" 404 151 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
192.168.60.200 - - [20/Jan/2015:11:55:15 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
192.168.60.200 - - [20/Jan/2015:11:55:16 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
192.168.60.200 - - [20/Jan/2015:11:55:17 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
192.168.60.200 - - [20/Jan/2015:12:14:44 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"
192.168.60.200 - - [20/Jan/2015:12:14:45 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:31.0) Gecko/20100101 Firefox/31.0"

方法一：

awk '{++S[$1]} END {for(a in S) print a,S[a]}' nginx.log | sort -rn -k 2
192.168.60.200 8
127.0.0.1 6

方法二：

awk '{print $1}' nginx.log|sort|uniq -c|sort -nr -k1
      8 192.168.60.200
      6 127.0.0.1

方法三：

sed 's/- -.*$//g' nginx.log|sort|uniq -c|sort -nr -k1
      8 192.168.60.200 
      6 127.0.0.1

 参考：http://oldboy.blog.51cto.com/2561410/1184206

　　    http://oldboy.blog.51cto.com/blog/2561410/1184177

转载于:https://www.cnblogs.com/zhutianpeng/p/4249904.html

weixin_30256505
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
通过nginx日志统计一段时间内ip的访问次数进行排序&访问量统计
小啊宇的博客
03-23 4303
查看nginx日志位置 find / -name access.log grep命令过滤出当天的 cat access.log | grep '2021-03-23' | awk '{print $1}' | sort | uniq -c | sort -nr -k1 | head -n 10 sed命令打印出某个时间段之间的 sed -n '/2021-03-23T10:40:00/,/2021-03-23T10:50:10/p' access.log | awk '{print $1}' | s
Nginx屏蔽F5心跳日志、指定IP访问日志
09-30
本篇将详细介绍如何在Nginx中屏蔽F5心跳日志以及指定IP的访问日志。 首先，我们要理解Nginx的日志格式。Nginx默认的日志格式通常包括客户端请求的日期和时间、请求的方法、请求的URL、HTTP状态码、请求的大小、...
运维面试题整理
MAZHI_BK
06-20 1942
这里写目录标题1. Nginx反向代理配置，此类url www.abc.com/refuse，禁止访问，返回4032. 如何使用iptables将本地80端口的请求转发到8080端口，当前主机IP为192.168.16.1，其中本地网卡eth0：3. 如何查看Linux系统当前的状态，cpu内存的使用情况及负载4. nginx如何重定义或者添加发往后端服务器的请求头5. 编写shell脚本，将当前目录下大于10K的文件转移到/tmp目录下6. 写出你所了解的门户网站的服务架构，可用什么方式实现的高可用、负载
ip访问次数统计 nginx_Linux下统计Nginx的log日志常用命令
weixin_35475608的博客
01-03 1183
日常工作中收集的可快速根据NGINX的access.log日志统计各类访问信息命令。有新增的会更新进来，需要的可以关注一下。一、访问IP相关统计1、统计IP访问量(PV)2、独立IP访问统计(UV)3、查看某一时间段的IP访问量(4-5点)4、查看访问最频繁的前100个IP5、查看访问次数在100次以上的IP6、查看某个IP的详细访问情况，按访问频率排序二、页面访问统计1、查看访问最频繁的页面(t...
nginx 统计请求次数_Nginx 最常用的两个功能：负载均衡和缓存
weixin_30369183的博客
01-23 846
负载均衡和缓存功能是 Nginx 最常用的两个功能，这两个功能都属于高性能的调优手段，也和后端人员的关系比较密切，只有了解并会使用它们才能更好地调试和运行自己的项目。针对Nginx 负载均衡模式先前有整理过：Nginx 的负载均衡模式有哪些？它的实现原理是什么？。本篇主要围绕负载均衡和缓存功能和配置做归纳总结01Nginx 健康监测被代理的服务器出现宕机的情况，如果被 Nginx 发现，...
DNS服务及基于BIND的实现
weixin_33806300的博客
08-10 612
1、DNS 概述1.1、DNS的出现及演化 网络出现的早期是使用IP地址通讯的，那时就几台主机通讯。但是随着接入网络主机的增多，这种数字标识的地址非常不便于记忆，UNIX上就出现了建立一个叫做hosts的文件（Linux和Windows也继承保留了这个文件）。这个文件中记录着主机名称和IP地址的对应表。这样只要输入主机名称，系统就会去加载hosts文件并查找对应关系，找...
Nginx设置日志打印post请求参数的方法
01-09
1. **全面性**：Nginx日志记录了访问者IP、浏览器信息、请求参数等，提供了比Java请求日志更全面的信息。 2. **性能优化**：当请求量过大导致Java应用无法及时处理时，Nginx的日志可以帮助分析流量，排查问题，优化...
Nginx日志统计分析的常用命令总结
09-30
Nginx日志是Web服务器记录用户访问行为的重要数据源，对其进行统计分析有助于优化网站性能、排查问题和了解用户行为。以下是一些常用的Nginx日志分析命令： 1. **IP相关统计**： - 查看总访问IP数量：`awk '{print...
Nginx日志实现访问异常报警详解
01-10
在工作中为了防止一些恶意访问的行为，例如不断的请求刷流量，通过实时过滤Nginx访问日志，将单位时间内访问次数达到指定阀值的来源ip及时的通知系统管理员，这里通过邮件的方式通知。 监控脚本 vim /opt/nginx/...
统计Nginx日志里前一个小时的IP数量以及IOS占比
07-19
本话题将围绕“统计Nginx日志里前一个小时的IP数量以及iOS占比”这一主题展开，讲解如何处理Nginx日志中的时间戳，以及编写shell脚本来实现这一目标。 首先，Nginx默认的日志格式通常包含以下字段：远程主机...
Nginx配置统计流量带宽请求及记录实时请求状态的方法
01-10
流量带宽请求状态统计 ngx_req_status用来展示nginx请求状态信息，类似于apache的status，nginx自带的模块只能显示连接数等等信息，我们并不能知道到底有哪些请求、以及各url域名所消耗的带宽是多少。ngx_req_status提供了这些功能. 功能特性 按域名、url、ip等等统计信息 统计总流量 统计当前带宽\峰值带宽 统计总请求数量 1. 安装 # cd /usr/local/src/ # wget http://nginx.org/download/nginx-1.4.2.tar.gz # tar -xzvf nginx-1.4.2.tar.gz
Centos7 ssh 免密登入
zhouzhiwengang的专栏
06-25 1409
centos7 服务器IP地址 192.168.60.199(主机名称:master) 192.168.60.200(主机名称:node1) 在192.168.60.199(master)服务器上，执行如下指令： 1、生成密钥对：公私钥（id_rsa 是私钥，id_rsa.pub是公钥） ssh-keygen -t rsa # 一直回车即可 2、查看 /root...
nginx日志，怎么统计每个ip的访问量
YiFeng_888的博客
01-20 5132
nginx日志，怎么统计每个ip的访问量 （参考阿铭哥手册）    stub_status模块主要用于查看Nginx的一些状态信息，例如统计nginx的访问量,首先我们得查看该模块有没有安装，如果没有安装，得先安装，安装好后，修改nginx的配置文件，开启该模块，然后就可以使用以下命令来进行统计，如：  1.根据访问IP统计UV awk '{print $1}'  access.log|s...
统计Apache或nginx日志里访问次数最多的前十个IP
weixin_34239169的博客
08-26 664
nginxawk'{print$1}'urlogfile|sort|uniq-c|sort-nr-k1|head-n10 awk'{print$1}'/usr/local/nginx/logs/localhost.access.log|sort|uniq-c|sort-nr-k1|head-n10Apachecd...
Nginx统计站点访问量、高频url统计
gghgrqw的博客
09-24 1596
查看访问最频繁的前100个IP awk ‘{print $1}’ access_temp.log | sort -n |uniq -c | sort -rn | head -n 100 统计访问最多的url 前20名 cat access_temp.log |awk ‘{print $7}’| sort|uniq -c| sort -rn| head -20 | more 基础 awk 是文本处理工具，默认按照空格切分，$N 是第切割后第N个，从1开始 sort命令用于将文本文件内容加以排序，-n 按照数值
nginx日志中得到访问量最高前10个IP
weixin_33853794的博客
07-29 303
~cataccess.log.10|awk'{a[$1]++}END{for(bina)printb"\t"a[b]}'|sort-k2-r|head-n10 163.177.71.12972 101.226.68.137972 183.195.232.138971 50.116.27.19497 14.17.29....
shell脚本检查统计nginx访问日志access.log
heshan307的专栏
08-29 7524
1、统计nginx的访问日志，统计访问总数，http状态码信息等 思路：先将access.log日志中的http状态码取出来，在我的nginx.conf配置下，access.log中一般awk ‘{print  $9}’即为http状态码，但为了确保不会出现问题，首先采用grep精确匹配到格式为：HTTP/1.0或HTTP:/1.1 状态码，并用awk去除$2即为http状态码，最后通过wc命令
nginx查看请求真是IP
最新发布
05-20
要查看请求的真实IP，需要在nginx配置文件中进行以下配置： 1. 在http块中添加如下配置，定义一个变量$real_ip_header，用于设置请求头中真实IP...通过上述配置，就可以在nginx访问日志或者应用程序中获取到真实IP了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值