nginx 日志 IP请求TOP K 问题的不同解决思路

最新推荐文章于 2022-01-17 14:58:16 发布
最新推荐文章于 2022-01-17 14:58:16 发布
阅读量497 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010358026/article/details/45000521
版权

方法一,利用linux的shell命令组合.

awk '{print $1}' access_20150330.log |sort|uniq -c|sort -nr -k 1|head -10

先利用awk显示出ip这一列,然后排序,把相同的放在一起,因为uniq只能处理连续的文本,参数-c是在文本旁边加上重复次数. sort排序,n按照数字,r进行逆向排序,k第几列.


方法二,放到mysql数据库中,进行排序.


方法三,利用python的

crazy_rocky
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
统计Nginx请求成功率等信息脚本
作者的博客园已搬家到CSDN，访问博客园主页将默认跳转至CSDN
04-24 239
统计Nginx的访问信息，如请求成功/失败率、当日PV、请求频繁URL/IP/客户端IP的TOP10
Nginx状态监控及日志分析
后端老鸟
06-01 2843
【转载请注明出处】：https://www.jianshu.com/p/59ed801213ca 1、Nginx状态监控 Nginx提供了一个内置的状态信息监控页面可用于监控Nginx的整体访问情况，这个功能由ngx_http_stub_status_module模块进行实现。 使用nginx -V 2>&1 | grep -o with-http_stub_status_module命令检测当前Nginx是否有status功能，如果输出ngx_http_stub_status_module则
nginx 代理取top IP
weixin_34419326的博客
02-07 144
netstat -anp |grep ":80"|awk '{print $5}'|awk -F: '{print $1}'|grep -v "10"|sort -n |uniq -c |sort -nr |head -20 转载于:https://blog.51cto.com/study2008/2069803
nginx日志中得到访问量最高前10个IP
weixin_33842328的博客
11-26 1423
~cataccess.log.10|awk'{a[$1]++}END{for(bina)printb"\t"a[b]}'|sort-k2-r|head-n10 163.177.71.12972 101.226.68.137972 183.195.232.138971 50.116.27.1949...
Python-找出日志文件中topK的ip
Fragile_liu的博客
05-08 420
最近面试遇到好几次的一个问题，查找日志文件中topK的ip或域名或其他字段 #-*-coding:UTF-8-*- #查找日志文件中top5的ip import os def top_ip(path): with open(path) as file: #定义一个空字典 ip_dict = {} #按行读取文件 for ...
根据nginx日志统计ip访问量
热门推荐
wudinaniya的博客
10-23 1万+
根据nginx日志统计ip访问量，由浅入深，逐步讲解。涉及命令 awk、sort、uniq nginx access.log 日志内容截图如下： nginx access.log日志统计第一列 ip [root@izbp1845cet96se1qmb5ekz logs]# ls access.log error.log nginx.pid [root@izbp1845c...
统计nginx日志里访问次数最多的前十个IP
我只是个小学生 能力有限 一直抱着学习的态度
03-03 4824
awk ‘{print $1}’ /var/log/nginx/access.log | sort | uniq -c | sort -nr -k1 | head -n 10
nginx日志log
weixin_46946629的博客
09-15 8300
一.日志配置 1.相关指令：log_format,access_log,error_log,open_log_file_cache 2.日志格式：log_format vim /etc/nginx/nginx.conf $remote_addr远程地址： 记录客户端IP地址 $remote_user远程用户：记录客户端用户名称 [$time_local] 本地时间：服务器自身时间 $request请求：记录请求的URL和HTTP协议(后面的http/1.1)协议版本 ...
使用slb后nginx、apache获取真实ip.docx
09-27
为了解决这个问题，我们可以使用 Nginx 的 http_realip_module 模块或 Apache 的 mod_rpaf 模块来获取真实 IP。 Nginx 获取真实 IP Nginx 的 http_realip_module 模块可以用来获取真实 IP。首先，我们需要重新编译...
Nginx 日志Log —— access.log 、 error.log 、logrotate
weixin_46687989的博客
09-17 493
一、日志配置 1、日志模块 官方文档 http://nginx.org/en/docs/http/ngx_http_log_module.html 日志模块的名称 ngx_http_log_module 相关指令log_format 日志格式 access_log 访问日志 error_log 错误日志 open_log_file_cache 日志缓存 2、log_format 日志的格式和命令 ...
nginxtop实时监控nginx状态
huoyuanshen的博客
09-08 5540
http://www.ttlsa.com/nginx/nginx-modules-ngxtop-ttlsa/ nginx实时监视访问状态（ngxtop） ngxtop实时解析nginx访问日志，并且将处理结果输出到终端，功能类似于系统命令top，所以这个软件起名ngxtop。有了ngxtop，你可以实时了解到当前nginx的访问状况，再也不需要tai
1、(topK问题)海量日志数据，提取出某日访问百度次数最多的10个IP。
zhangyun75的博客
05-11 2193
首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文件中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。#include &...
nginx的配置
qq_58668102的博客
10-27 2050
配置参数 user USERNAME [GROUPNAME]; //指定运行worker进程的用户和组 ，指定以哪个组和哪个用户的身份去运行，组可写可不写 pid /path/to/pid_file; //指定nginx守护进程的pid文件 worker_rlimit_nofile number; //设置所有worker进程最大可以打开的文件数，默认为1024 worker_rlimit_core size; //指明所有worker进程所能够使用的总体的最大核心文件大小，保持默认
使用Linux命令找出日志文件中访问量最大的top10 IP地址
weixin_34233421的博客
10-10 783
检验你是否熟悉Linux命令的常见问题：使用 Linux命令找出日志文件中访问量最大的top10 IP地址 日志文件test.log格式如下： 时间 IP **** linux 命令如下： cat test.log|awk -F" " '{print $2}'|sort|uniq -c|sort -nrk 1 -t' '|awk -F" " '{print $2}'|head -1...
topK问题——N个数中取最大的K个数
lizhentao0707的博客
07-05 7351
topK问题在海量数据中找出出现频率最高的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为topK问题。N个数中取最大的K个数，用小根堆；N个数中取最小的K个数，用大根堆。例题1：100万个数中，找到其中最大的100个数。(N个数中取最大的K个数)思路：(1) 定义两个数组，arr用于存储海量数据N，top用于存储小根堆K；(2) 将海量数据的前K个元素先填满top堆;(3) 调整...
shell之Nginx：统计nginx日志里访问次数最多的前10个IP
weixin_53389944的博客
01-17 4684
[root@localhost sa]# cat /var/log/nginx/access.log |cut -d " " -f 1 |sort |uniq -c |sort -nr |head -n 10 30 172.16.39.211 29 172.16.39.216 27 172.16.39.215 27 172.16.39.212 26 172.16.39.213 26 172.16.3...
几百G的日志文件，存放访问过的IP地址，找访问量topk，如何快速查找某个ip是否访问过（是否包含某个ip）
hueru的博客
04-24 1641
一，几百G的日志文件，存放访问过的IP地址，找访问量topk 二，如何快速查找某个ip是否访问过（是否包含某个ip） 一解，假设可用内存为1G（除去操作系统、应用程序，磁盘IO等所用），同一个IP来访次数不会超过2^32 - 1,可以考虑如下方法： 1> 将1G内存分成16个缓冲区，缓冲区代表0-4G的16等分，将读入的ip按整数存放在相应的缓冲区。 2> 如果某个缓冲区满，那么就将这...
解决Web服务请求丢失问题：Nginx与Tomcat监控分析
"这篇技术文章主要探讨了如何检测Web服务请求丢失的问题，作者徐建伟在文中...该文章提供了一种系统性的方法来诊断和解决Web服务请求丢失问题，通过集成Nginx和链路追踪工具，可以有效地定位问题源头并采取相应措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值