shell统计日志中ip出现次数

最新推荐文章于 2022-12-09 14:34:56 发布
最新推荐文章于 2022-12-09 14:34:56 发布
阅读量572 收藏
点赞数 1
文章标签： shell awk
原文链接：https://my.oschina.net/u/2613449/blog/603153
版权

转自http://james-lover.iteye.com/blog/2105795

日志如下：

178.60.128.31 www.google.com.hk
193.192.250.158 www.google.com
210.242.125.35 adwords.google.com
210.242.125.35 accounts.google.com.hk
210.242.125.35 accounts.google.com
210.242.125.35 accounts.l.google.com
64.233.181.49 www.google.com
212.188.10.167 www.google.com
23.239.5.106 www.google.com
64.233.168.41 www.google.com
62.1.38.89 www.google.com
62.1.38.89 chrome.google.com
193.192.250.172 www.google.com
212.188.10.241 www.google.com
37.228.69.57 www.google.com
222.255.120.42 www.google.com
222.255.120.42 www.gstatic.com
212.188.10.167 www.googleapis.com
64.233.181.49 www.googleapis.com
64.233.181.49 fonts.googleapis.com
193.192.250.158 plus.google.com
193.192.250.158 talkgadget.google.com 
193.192.250.158 ssl.gstatic.com
193.192.250.158 images-pos-opensocial.googleusercontent.com
193.192.250.158 images1-focus-opensocial.googleusercontent.com
193.192.250.158 images2-focus-opensocial.googleusercontent.com
193.192.250.158 images3-focus-opensocial.googleusercontent.com
193.192.250.158 images4-focus-opensocial.googleusercontent.com
193.192.250.158 images5-focus-opensocial.googleusercontent.com
193.192.250.158 images6-focus-opensocial.googleusercontent.com
193.192.250.158 clients4.google.com
222.255.120.42 google.com
222.255.120.42 apis.google.com
222.255.120.42 clients1.google.com
193.192.250.158 clients2.google.com
193.192.250.158 clients3.google.com
193.192.250.158 clients5.google.com
64.233.181.49 maps.google.com
64.233.181.49 mts0.google.com
64.233.181.49 maps.gstatic.com

命令如下：

cat test.txt|awk '{print $1}'|sort|uniq -c

 结合sort和uniq命令

 

转载于:https://my.oschina.net/u/2613449/blog/603153

choukuad381324
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
shell 统计浏览器端ip和访问次数
zyb378747350的专栏
01-19 1193
统计nginx 访问浏览器客户端ip地址和访问次数，并且按访问次数大到小排序：日志格式：xxx|124.236.110.26|-|[17/Jan/2018:03:00:27 +0800]|GET /wzy_wifi71/a3/?dcwpf0dc4=1515990033590 HTTP/1.1|200|54217|http://xxx/a3/|Mozilla/5.0 (Linux; Android
去哪网的一个面试题：shell统计日志中各IP 出现的次数
李黄河
08-19 685
       去哪网的面试：数据量不大的话用awk最方便，但长时间没有用过了，忘记了awk数组的用法。 在这里复习一下。 假设数据格式为： 178.60.128.31 www.google.com.hk 193.192.250.158 www.google.com 210.242.125.35 adwords.google.com 210.242.125.35 accounts.g...
【Shell牛客刷题系列】SHELL25 nginx日志分析3-统计访问3次以上的IP
一起加油~
12-09 551
本文首先复习了grep、awk、sed、cut等命令的相关用法；然后，给出了五种题目的解决方案。
使用shell脚本统计文件中ip出现的次数
热门推荐
xiamoyanyulrq的博客
08-10 1万+
首先准备文件demo.txt，内容如下： 1 192.168.41.20 2 192.168.41.21 3 192.168.41.22 4 192.168.41.23 5 192.168.41.24 6 192.168.41.25 统计出现次数最多的ip次数： cat demo.txt | awk '{print $2}' | sort | uniq -c | s...
Shell 分析日志文件高效命令详解.docx
最新发布
11-16
Shell 分析日志文件高效命令详解 shell 分析日志文件是一种常见的操作系统日志记录方式，通过分析日志文件，可以获取服务器的访问情况、用户行为、系统性能等信息。本文将详细介绍 Shell 分析日志文件的高效命令...
linux下shell处理nginx日志自动生成ip黑名单
01-20
#shell脚本处理nginx日志自动生成ip黑名单 ##统计访问量前10名的ip并写入文件 #!/bin/bash data=`date +%Y-%m-%d` #统计访问量最高的前10ip awk '{print $1}' '/PATH/'$data'.log' | sort -n |uniq -c | sort -rn | ...
常用shell脚本，更加快捷的管理服务器
08-21
这个脚本首先读取 Nginx 的日志文件，统计每个 IP 的访问次数，然后将访问次数超过 10 的 IP加入到防火墙的黑名单中，以防止 Dos 攻击。 2. Linux 系统发送告警脚本 下一个示例是 Linux 系统发送告警脚本。这个...
shell脚本定时统计Nginx下access.log的PV并发送给API保存到数据库
01-11
查看日志中访问次数最多的前10个IP cat access.log.1 |cut -d ' ' -f 1 | sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 查看日志中访问次数超过1000次的前10个IP cat access.log.
shell 编程指南pdf
09-24
7.7 使用\{\}匹配模式结果出现的次数 53 7.8 小结 55 第8章 grep家族 56 8.1 grep 57 8.1.1 双引号引用 57 8.1.2 grep选项 57 8.1.3 查询多个文件 57 8.1.4 行匹配 57 8.1.5 行数 58 8.1.6 显示非匹配行 58 8.1.7 ...
shell脚本统计ip数
阿基米德来了的博客
04-15 1347
有统计访问用户地理位置的需求，故通过对用户访问信息中ip地址的处理，来整理出用户ip地址和地理位置 文件格式如下： 1555315829.907 ad170ef2-35bf-11e9-906b-286ed488c99f [2019-04-15T16:10:29+08:00] elb 49.69.197.165:64361 1555315830.429 ad...
shell复习—统计重复ip地址次数
weixin_45062283的博客
07-17 899
今天在复习shell的过程中，想起来之前遇到过的一道面试题，如何去除两个文件中的重复数据？ 我的第一反应就是用 uniq cat file1 file2｜sort｜uniq > resultfile 当然这个回答上来面试官就会继续往下问扩展内容，其实也是日常工作中经常遇到的。 log文件中记录访问信息，里面包含ip地址等信息，想统计每个ip地址访问的次数 （我老板在面试别人的时候也很喜欢面这道题????????????每次我坐在旁边的时候一直都在想，我能不能写出来） 先思考一下最简单的处理情况，lo
linux下shell统计已使用ip,使用shell脚本统计文件中ip出现的次数
weixin_36198509的博客
05-05 874
首先准备文件demo.txt，内容如下：1 192.168.41.202 192.168.41.213 192.168.41.224 192.168.41.235 192.168.41.246 192.168.41.25统计出现次数最多的ip次数：cat demo.txt | awk '{print $2}' | sort | uniq -c | sort -n -r | head -n 1注：a...
用shell统计访问日志里每个ip访问次数【转】
weixin_34185364的博客
12-21 731
今天，要统计一个系统的每个ip访问次数，于是我找到该系统访问日志，并写脚本实现。   访问日志情况： [root@qular ~]# cd /usr/local/nginx/logs/ [root@qunlar logs]# head access.log  59.151.44.186 - - [15/Dec/2014:20:19:11 +0800] "POST http://ebw...
Shell中统计字符串出现次数的方法
sinat_34241861的博客
12-19 7416
方法1：使用grep命令进行统计 grep -o ‘字符串’ file |wc -l 方法2：使用awk命令进行统计 awk -v RS="@#$j" ‘{print gsub(/字符串/,"&")}’ file 方法3：使用awk命令进行统计的方法 awk ‘{s+=gsub(/字符串/,"&")}END{print s}’ file ...
shell 统计文件中每行出现的次数
BigBirds911的博客
04-05 9526
其实就是统计每行重复多少次 uniq [options][file1 [files]] uniq−cfilefile中的重复行输出一次，并在每行前显示重复次数uniq -c file file中的重复行输出一次，并在每行前显示重复次数 uniq -d file file中的重复行输出一次，但不输出唯一的行 uniq−ufile只输出file中的唯一行 uniq -u file
Shell查找文档/日志中的ip并按出现的次数倒序输出Linux查本机ip命令
weixin_43260123的博客
12-22 510
egrep -o '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' 文件 |sort|uniq -c|sort -nrt " "| head -5 效果 文件： 拓展 查本机ip 方法一： ifconfig eth0 | egrep -o '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' | sed -n 1p 方法二 ifconfig eth0 | awk '/inet/ {print $2}'
shell awk统计重复个数
weixin_30399871的博客
06-01 1036
awk是一个很强大的工具，一个常见的用法就是统计一个文件中重复的列值的个数，这也是面试时面试官经常问的一个问题。 举个例子： 有个文件file.log的内容如下： http://www.sohu.com/aaa http://www.sina.com/111 http://www.sohu.com/bbb http://www.sina.com/222 htt...
shell统计文档中每个字母出现的次数
05-20
您可以使用以下命令来统计文档中每个字母出现的次数： ```shell tr -cd '[:alpha:]' | fold -w1 | sort | uniq -c ``` 这个命令会将文件中的所有非字母字符删除，并将每个字母拆分成单独的行。然后使用 `sort` ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值