shell命令统计log日志中前10的IP

最新推荐文章于 2022-07-12 20:41:35 发布
最新推荐文章于 2022-07-12 20:41:35 发布
阅读量886 收藏 8
点赞数 2
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thqtzq/article/details/102940224
版权

查看当前log日志文本：

06-Nov-2019 09:40:10.512 INFO http://192.168.1.1 org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath
06-Nov-2019 09:40:10.732 INFO http://192.168.1.12 org.apache.catalina.core.ApplicationContext.log Initializing Spring root WebApplicationContext
06-Nov-2019 09:40:15.111 INFO http://192.168.1.37 org.apache.catalina.core.ApplicationContext.log Initializing Spring FrameworkServlet 'cec'
06-Nov-2019 09:59:20.401 INFO http://192.168.1.14 org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath
06-Nov-2019 09:59:20.813 INFO http://192.168.1.37 org.apache.catalina.core.ApplicationContext.log Initializing Spring root WebApplicationContext
06-Nov-2019 09:59:25.373 INFO http://192.168.1.2 org.apache.catalina.core.ApplicationContext.log Initializing Spring FrameworkServlet 'cec'
06-Nov-2019 11:19:50.520 INFO http://192.168.1.100 org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath
06-Nov-2019 11:19:50.809 INFO http://192.168.1.100 org.apache.catalina.core.ApplicationContext.log Initializing Spring root WebApplicationContext
06-Nov-2019 11:19:54.655 INFO http://192.168.1.198 org.apache.catalina.core.ApplicationContext.log Initializing Spring FrameworkServlet 'cec'
06-Nov-2019 11:35:59.353 INFO http://192.168.1.116 org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath
06-Nov-2019 11:35:59.622 INFO http://192.168.1.75 org.apache.catalina.core.ApplicationContext.log Initializing Spring root WebApplicationContext
06-Nov-2019 11:36:03.868 INFO http://192.168.1.18 org.apache.catalina.core.ApplicationContext.log Initializing Spring FrameworkServlet 'cec'
06-Nov-2019 16:09:32.125 INFO http://192.168.1.2 org.apache.catalina.core.ApplicationContext.log No Spring WebApplicationInitializer types detected on classpath
06-Nov-2019 16:09:32.413 INFO http://192.168.1.2 org.apache.catalina.core.ApplicationContext.log Initializing Spring root WebApplicationContext
06-Nov-2019 16:09:36.593 INFO http://192.168.1.16 org.apache.catalina.core.ApplicationContext.log Initializing Spring FrameworkServlet 'cec'
06-Nov-2019 16:09:36.593 INFO http://192.168.1.16 org.apache.catalina.core.ApplicationContext.log Initializing Spring addChildInternal(ContainerBase.java:724) 'cec'
06-Nov-2019 16:09:36.593 INFO http://192.168.1.178 org.apache.catalina.core.ApplicationContext.log Initializing Spring FrameworkServlet 'cec'
06-Nov-2019 16:09:36.593 INFO http://192.168.1.72 org.apache.catalina.core.ApplicationContext.log Initializing Spring addChildInternal(ContainerBase.java:724) 'cec'
06-Nov-2019 16:09:36.593 INFO http://192.168.1.27 org.apache.catalina.core.ApplicationContext.log Initializing addChildInternal(ContainerBase.java:724) FrameworkServlet 'cec'
06-Nov-2019 16:09:36.593 INFO http://192.168.1.16 org.apache.catalina.core.ApplicationContext.log Initializing Spring addChildInternal(ContainerBase.java:724) 'cec'

下面开始分析：这里通过管道（|）将左边部分命令的输出作为右边部分的输入

  1. 使用awk命令，以" "空格拆分，取第4部分，得到带http的IP地址
    在这里插入图片描述
  2. 以’//'再继续拆分，取第二部分 -F参数代表以什么字符进行拆分
    在这里插入图片描述
  3. 使用sort进行排序
    在这里插入图片描述
  4. 合并相同的IP，然后统计个数，uniq -c表示合并相邻的重复记录，并统计重复数。因为uniq -c 只会合并相邻的记录，所以在使用该命令之前需要先排序。
    在这里插入图片描述
  5. 然后根据第一列的数字进行倒序排列， -k 1 表示选择第1个区间进行排序；-r 表示逆序
    在这里插入图片描述
  6. 最后取前10行，head - 10
    在这里插入图片描述

参考链接：LInux命令大全

Rick1993
关注
专栏目录
Shell实例——输出网站访问量TOP10
Code for need ,Code for fun
12-15 937
问题概述 一个大型网站每天都有数以亿计的访问者,每个访问者的访问行为都会在服务器中都会留下访问记录。 访问记录里有许多信息，其中包含两个字段:访问者的IP、访问者的用户id.例如，格式是这样的: >>> cat record. txt 10:20 202.114.112.5 32123453 10:21 213.89.113.21 34234234 每条记录分为3个字段，第...
如何在日志文件中查找出访问最多的前10个IP地址
chouji4171的博客
02-09 3828
我们开发时候经常会统计一些访问日志，访问日志中的url是海量的，并且好多是重复内容。以url为例，统计url中出现频率次数前10的url，并按出现次数的降序排序。 linux命令： cat url.log | sort | uniq -c |sort -n -r -k 1 -t ' ' |...
linux统计当日出现次数最多的ip,往哪网的一个面试题：shell统计日志中各IP 出现的次数...
weixin_42271195的博客
05-05 216
去哪网的面试：数据量不大的话用awk最方便，但长时间没有用过了，忘记了awk数组的用法。在这里复习一下。假设数据格式为：178.60.128.31 www.google.com.hk193.192.250.158 www.google.com210.242.125.35 adwords.google.com210.242.125.35 accounts.google.com.hk210.242.1...
shell之Nginx：统计nginx日志里访问次数最多的前10个IP
weixin_53389944的博客
01-17 4704
[root@localhost sa]# cat /var/log/nginx/access.log |cut -d " " -f 1 |sort |uniq -c |sort -nr |head -n 10 30 172.16.39.211 29 172.16.39.216 27 172.16.39.215 27 172.16.39.212 26 172.16.39.213 26 172.16.3...
抓取访问web服务器(本机)次数排在前5的ip地址-----cut,sort,uniq的应用)
ninimino的博客
12-18 181
当前主机为web服务器，请抓取访问web服务器次数排在前5的ip地址 [root@node1 logs]# cut -d - -f 1 /etc/httpd/logs/access_log| sort -n|uniq -c | sort -nr|head -n 5 39 172.25.254.204 24 172.25.254.120 10 172.25.254.220 在统计重复的时候，如果相同的数字不挨着，则无法统计成重复的，所有先进行排序，排序完所有的相同的数字会挨在一起 ...
Linux命令学习--统计log中每个IP的访问次数
凤凰传奇的粉丝
05-05 7433
cat access.log输出该log文件的内容 sed -rn '/28\/Jan\/2015/p' 将含有该字段的的行输出来，即选定特定的日期。sed主要进行文本操作。 awk '{print $1}' |sort |uniq 输出该行第一项，并sort排序，uniq去除重复的。这样ipnum.txt里面即为所有的被访问ip. 遍历ipnum.txt里的每一个ip，在acces...
Shell脚本实现分析apache日志中ip所在的地区
09-15
本篇文章将介绍如何使用Shell脚本结合nali工具来分析Apache日志中的IP地址，以确定这些IP所在的地理位置。 首先，我们需要安装nali工具。nali是一个小巧的命令行工具，它可以快速地查询一个IP地址并返回其所在国家...
shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询）
09-15
在提供的配置中，`log_format`定义了主要的日志格式，其中包含了IP地址（第一列）和请求耗时（最后一列）。`request_time`字段表示每个请求的处理时间，这是我们要关注的关键指标。在`awk`命令中，可以通过`$1`获取...
shell脚本实现的网站日志分析统计（可以统计9种数据）
01-10
写了个shell脚本，可以用来统计每天的访问日志，并发送到电子邮箱，方便每天了解网站情况。脚本统计了：1、总访问量2、总带宽3、独立访客量4、访问IP统计5、访问url统计6、来源统计7、404统计8、搜索引擎访问统计...
linux下shell处理nginx日志自动生成ip黑名单
01-20
#shell脚本处理nginx日志自动生成ip黑名单 ##统计访问量前10名的ip并写入文件 #!/bin/bash data=`date +%Y-%m-%d` #统计访问量最高的前10ip awk '{print $1}' '/PATH/'$data'.log' | sort -n |uniq -c | sort -rn | ...
利用shell脚本统计文件中出现次数最多的IP
weixin_30815469的博客
12-28 280
比如有如下文件test.txt 1 134.102.173.43 2 134.102.173.43 3 134.102.171.42 4 134.102.170.9 要统计出现次数最多的IP可以利用以下shell脚本： cat test.txt | awk '{print $2}' | sort | uniq -c | sort -n -r | head -n 1 ...
查询一个日志文件中访问次数最多前10个IP？
lyl194458的博客
03-20 8235
题目：查询一个日志文件中访问次数最多前10个IP？ 第一步：按照IP进行将记录排序。 第二步：按照IP去重，并且显示重复次数 第三步：按照次数升序排列 第四步：显示前10行 cat log.txt|awk -F" " '{print &1}' |sort|uniq -c|sort -nrt " "|awk -F" " 'print &2' |head -10 ...
企业级shell脚本之一：统计前10 占用内存和cpu资源的进程
匹夫之怒
03-31 914
背景：生产环境中我们经常要分析系统资源的使用情况，所以分析内存和cpu的消耗情况是很有必要的 命令说明： ps 命令查看进程 参数： -e 显示所有进程 -o 自定义显示的字段 –sort 排序 比如：我们要查看系统cpu消耗前10的进程： ps aux --sort=-pcpu | head -10 整体脚本比较简单： 如下： ![#!/bin/bash echo “--...
使用Linux命令找出日志文件中访问量最大的top10 IP地址
Boush
07-20 2107
使用Linux命令找出日志文件中访问量最大的top10 IP地址 描述 日志文件 linux命令 linux命令详解 使用Linux命令找出日志文件中访问量最大的top10 IP地址 描述 检验是否熟悉linux命令常见问题：使用 Linux命令找出日志文件中访问量最大的top10 IP地址 日志文件 日志文件test.log内容如下： 2020-07-14 07:00:00 10.11.131.1 test 2020-07-14 07:00:00 10.11.131.2 test 2020-..
linux 访客日志ip,linux日志获取最多访问的前10个IP
weixin_30750349的博客
05-01 1142
nginx日志分析可以获得很多有用的信息，现在来试试最基本的，获取最多访问的前10个IP地址及访问次数。既然是统计，那么awk是必不可少的，好用而高效。当前WEB服务器中连接次数最多的ip地址#ss-ntu|awk'{print$5}'|sort|uniq-c|sort-nr查看日志中访问次数最多的前10个IP[root@a/var/log/nginx]#cataccess...
shell脚本---apache访问日志access.log统计IP和每个地址访问的次数，按访问量列出前10名
weixin_69899223的博客
07-12 790
shell脚本---apache访问日志access.log统计IP和每个地址访问的次数，按访问量列出前10名
awk统计访问日志前10的ip
热门推荐
aiguoxin
10-29 1万+
日志格式如下： 2013-10-29 10:26:09, INFO, send toEmail=wuas6662@163.com,templateId=23,titleId=11,type=3,sendEmail=noreply+renrenzhichang@mail.xiaozhao.com,ip=10.3.22.134,mailType=4,emailId=526f1bd8c8f2a9021
使用Shell对apache日志进行分析
Mr_Willy的专栏
12-03 1612
人人网一个笔试题就是要求用shell分析Apache日志(/usr/local/apache2/logs/access_log)，要求列出当天访问次数最多的IP，下面是典型的访问信息的log。用shell列出访问最多的20个ip： 180.168.41.175 - - [23/Aug/2011:14:47:37 -0400] "GET / HTTP/1.0" 200 654 216.3
shell脚本统计ip数
阿基米德来了的博客
04-15 1394
有统计访问用户地理位置的需求，故通过对用户访问信息中ip地址的处理，来整理出用户ip地址和地理位置 文件格式如下： 1555315829.907 ad170ef2-35bf-11e9-906b-286ed488c99f [2019-04-15T16:10:29+08:00] elb 49.69.197.165:64361 1555315830.429 ad...
Shell日志分析：十大高效命令揭示IP行为
本文档深入解析了在Shell中分析日志文件的高效命令技巧，对于IT专业人士处理大量网络日志数据具有极高的实用价值。以下是主要内容的详细解读： 1. **IP访问计数**: 使用`awk`命令结合`sort`和`uniq`，可以计算出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值