Shell实例——输出网站访问量TOP10

最新推荐文章于 2022-08-11 21:31:11 发布
最新推荐文章于 2022-08-11 21:31:11 发布
阅读量956 收藏 2
点赞数 1
分类专栏： Shell编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41476978/article/details/85018971
版权
本文通过Shell命令演示如何从大型网站的访问记录中分析并提取出每日访问次数最多的前10个IP。首先，利用cut命令获取IP和用户ID字段，接着排序并使用uniq统计IP的访问次数，最后通过-nr选项倒序排列，得出高访问量的IP。
摘要由CSDN通过智能技术生成

问题概述

一个大型网站每天都有数以亿计的访问者,每个访问者的访问行为都会在服务器中都会留下访问记录。
访问记录里有许多信息，其中包含两个字段:访问者的IP、访问者的用户id.例如，格式是这样的:

>>> cat record. txt
10:20  202.114.112.5 32123453
10:21  213.89.113.21 34234234

每条记录分为3个字段，第一个字段是用户的访问时间，第二个字段是用户的访问IP,第3个字段是用户的id,中间以空格隔开。
这样的记录有什么用呢?工程师每天晚上都会分析这些用户数据:
(1)分析哪些IP的访问异常，例如出现短时间内大量访问的情况(可能是用机器人爬网页的结果):
(2)分析哪些用户为活跃用户:
(3)分析哪些用户的账户存在异常( 例如瞬间换另一个IP登录)。

那么，如何判断用户的IP访问短时间内出现大量请求呢?因为个连接请求 一条记录，所以可以取出每天IP访问次数最高的前100名，对这些用户进行分析。

取出记录的ip和id字段

在这里我模拟了一个类似网站访问记录的文件record.txt
在这里插入图片描述

cut命令可以取出格式化文本中需要的字段，这里需要取出其中的ip和id字段，时间字段先行

最低0.47元/天 解锁文章
物联网安全概述
悦分享
07-02 9448
什么是物联网？在你学习有关IPv6的时候，你的老师或许说过，有一天在你的房子每个设备都会有一个IP。物联网基本上就是处理每天的事务，并把它们连接到互联网上。一些常见的物联网设备：如灯光，窗帘，空调。也有像冰箱这样的不太常见的设备，甚至一个卫生间。物联网的定义是：“提出了互联网的发展，日常物品有网络连接，允许，发送和接收数据。”物联网体系结构，通常有这五个部分：物联网环境本身的控制传感器和执行器通常使用这些无线协议（还有更多的）：每个协议都有其优缺点，也有很多的限制。当谈到选择哪种协议时，最大的问题是兼容性。
【爆肝整理】现代网络安全基础术语词典，网络安全学习者必备
最新发布
Hack0812的博客
12-02 1111
网安专业术语千千万，看不懂真的会像门外汉（单押了）。今天文章就来为大家罗列一下网安行业常见术语。
Shell 练习 —— 输出每行和的top10
Coder Yang
03-25 793
文章目录一、要求二、脚本2.1 随机数生成脚本2.2 统计脚本三、运行结果 一、要求   一个文本，每行两列，都是数字，输出每行和的top10。 二、脚本 2.1 随机数生成脚本 #!/bin/bash for i in {1..10000} do echo ""$RANDOM" "$RANDOM"" >> num.dat done 2.2 统计脚本 #!/bin/bash...
Shell 练习 —— 输出top10的数字
Coder Yang
03-25 895
文章目录一、要求二、脚本2.1 随机数生成脚本2.2 统计脚本三、运行结果 一、要求   一个文本，每行一个数字，输出top10的数字。 二、脚本 2.1 随机数生成脚本 #!/bin/bash for i in {1..10000} do echo $RANDOM >> num.dat done 2.2 统计脚本 #!/bin/bash # 将数据拷贝到新文件中操作 c...
Shell图形化监控网络流量
weixin_34379433的博客
05-23 254
shell图形化监控网络流量 网络流量的监控工具有很多，如：Mrtg、Cacti、Zabbix等等，他们都有着各自的特点，不同的侧重，只为适合不同的应用场景的各种特殊需求。除了网络流量监控工具以外，还有Nagios这样的监控主机状态的工具，不仅能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。还能在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维...
shell命令统计log日志中前10的IP
手写ArrayList
11-06 900
查看当前log日志文本： 06-Nov-2019 09:40:10.512 INFO http://192.168.1.1 org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath 06-Nov-2019 09:40:10.732 I...
shell统计日志文件实现指定格式Top10
Abysscarry的博客
07-29 1789
背景： 无论oracle、hive还是spark等都有实现该功能的函数，但我们如何利用 linux-shell命令来处理用户访问日志实现top10功能呢？这相对比较偏底层了，了解下很有好处~ 一、需求 日志文件： haha.txt 字段分隔符为：\t 字段说明： 时间 用户id 访问的url 日志文件部分内容如下： 2018-05-17 00:00:06 99986406000...
面试笔试-脚本-1：使用shell脚本输出登录次数最多的用户
weixin_34050389的博客
04-17 143
原题目：  一个文本类型的文件，里面每行存放一个登陆者的IP（某些行是反复的），写一个shell脚本输出登陆次数最多的用户。 之前刚看到这个题目时，立即没有想到一行直接解决的办法，尽管知道能够先进行排序，可是后面因为对uniq命令的參数不熟悉，所以用了比較背的办法，就是直接编写shell脚本程序来解决问题。 如今如果測试数据例如以下： 111.111.111.111 10....
Hadoop面试-HDFS，MapReduce，Yarn
niuyan666的博客
08-11 520
Hadoop面试 HDFS ###1.hdfs写流程 （1）客户端通过 Distributed FileSystem 模块向 NameNode 通信请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 （2）NameNode 返回是否可以上传。 （3）客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 （4）NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。 （5）客户端通过 FSDataOutputStream 模块请求 d
shell脚本统计ip数
阿基米德来了的博客
04-15 1430
有统计访问用户地理位置的需求，故通过对用户访问信息中ip地址的处理，来整理出用户ip地址和地理位置 文件格式如下： 1555315829.907 ad170ef2-35bf-11e9-906b-286ed488c99f [2019-04-15T16:10:29+08:00] elb 49.69.197.165:64361 1555315830.429 ad...
shell检测连接数最多的IP
cjyy7800的博客
11-30 260
#/bin/bashdatenetstat -an | grep 1088 | awk '{print $5}'>iplist.txt #按应用端口匹配echo "*************************...
linux的Shell编程题目输出记录最多的IP
抛物线的博客
10-29 543
一个文本类型的文件，里面每行存放一个登陆者的IP（某些行是重复的），写一个shell脚本输出登陆次数最多的用户。 Ip_input.txt的内容假设如下： 219.217.49.14 175.43.4.87 87.48.98.1 59.73.38.25 219.217.50.14 59.92.48.32 219.217.49.14 59.72.38.142 59.73.38.25 219.217...
查看IP访问量的shell脚本汇总
m0_52165864的博客
08-11 2651
NF指的是最后一个字段。NR是指定行号。FS是指定分隔符。OFS是指定输出分隔符。获取访问前10为的ip地址
linux 日志分析 访问量 在前三位的IP
极客on之路
01-02 1730
cat 2018-01-02_10_access_log | cut -f5 -d " "| sort |uniq -c |sort -k 1 -n -r | head -n 3 cat log.log.2020-01-17-11.log |grep ' ###### addUserDeviceApp time :'| cut -f9 -d " "| sort -n -k 1 -r | h...
根据IP统计网站访问次数
weixin_52774180的博客
12-25 3397
1. 确定用什么来统计网站的访问次数？ 因为网站可能有多个页面，无论哪个页面被访问，都要统计访问次数，也就是说统计工作在任何的资源被访问之前都要执行，所以使用过滤器比较方便。而且我们的这个过滤器不需要任何的拦截操作，只需要统计次数就可以了。2. 用什么来存储网站中每个IP的访问次数？ 我们需要用什么来装载统计数据呢？答案是Map<String,Integer>，我们可以在过滤器中创建一个Map，key就是IP地址，value就是对应IP地址访问的次数。 当有用户访问时，就获取请求的IP地址：如果
从100亿条记录的文本文件中取出重复数最多的前10条
热门推荐
qq_26498709的博客
11-03 1万+
场景哈希分治法 这是一个 ip 地址 127.0.0.1 假设有100亿个这样的 ip 地址存在文件中 这个文件大小大约是 100GB 问题：要统计出100亿个 ip 中，重复出现次数最多的前10个分析100GB 几乎不可能一次加载进内存进行操作，所以必须要拆分 那么可以利用分治的思想，把规模大的问题化小，然后解决各个小的问题，最后得出结果。实现思路 ipv4 地址是一个 32 位的整数，
查询一个日志文件中访问次数最多前10个IP？
lyl194458的博客
03-20 8254
题目：查询一个日志文件中访问次数最多前10个IP？ 第一步：按照IP进行将记录排序。 第二步：按照IP去重，并且显示重复次数 第三步：按照次数升序排列 第四步：显示前10行 cat log.txt|awk -F" " '{print &1}' |sort|uniq -c|sort -nrt " "|awk -F" " 'print &2' |head -10 ...
统计Apache或nginx日志里访问次数最多的前十个IP
weixin_34239169的博客
08-26 676
nginxawk'{print$1}'urlogfile|sort|uniq-c|sort-nr-k1|head-n10 awk'{print$1}'/usr/local/nginx/logs/localhost.access.log|sort|uniq-c|sort-nr-k1|head-n10Apachecd...
linux前10ip,Linux分析日志获取最多访问的前10个IP
weixin_31938351的博客
05-09 1081
apache日志分析可以获得很多有用的信息，现在来试试最基本的，获取最多访问的前10个IP地址及访问次数。既然是统计，那么awk是必不可少的，好用而高效。命令如下：awk '{a[$1] += 1;} END {for (i in a) printf("%d %s", a[i], i);}' 日志文件 | sort -n | tail首先用awk统计出来一个列表，然后用sort进行排序，最后用ta...
Unix Shell实例精讲：入门与工具应用
《Unix Shell 实例精解》是一本深入浅出的教程，专注于讲解Unix Shell编程和使用技巧。本书分为两章，详细介绍了Shell的基础知识和实用工具。 在第一章中，作者首先对Shell进行了定义，指出它是用户与UNIX操作系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值