Linux Unix 一行命令列出多个文件中的不重复IP，并排序统计出现次数

最新推荐文章于 2023-01-02 17:18:12 发布
最新推荐文章于 2023-01-02 17:18:12 发布
阅读量649 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/allway2/article/details/108174984
版权

列出单个文件中的不重复IP，并排序
grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' access.log00084 | sort | uniq

列出多个文件中的不重复IP，并排序
cat access.log* | grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' | sort | uniq

列出单个文件中的不重复IP，并排序统计出现次数
grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' access.log00084 | sort | uniq -c

列出多个文件中的不重复IP，并排序统计出现次数
cat access.log* | grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}' | sort | uniq -c

allway2
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux 排序去重复,如何用grep、sort、sed、uniq等linux工具彻底清除重复行？
weixin_39538962的博客
05-14 748
如何用grep、sort、sed、uniq等linux工具彻底清除重复行？这个问题真的很难写，因为我看不出任何东西能赋予它意义。但这个例子显然是直截了当的。如果我有这样的文件：12234在解析文件之后，删除重复的行，如下所示：^{pr2}$我知道这是我写的一个python脚本。创建一个名为clean_duplicates.py的文件，并将其运行为：import sys## To run it us...
Linux 提取文本中的IP地址、排序+去重复行
weixin_34208283的博客
10-30 1437
有些时候在做***的时候拿到目标的DNS域传输信息，里面包含大量的目标IP地址，我们需要提取这些IP地址，进行下一步的***，可以用正则表达式搞定： cat file.txt | grep -o '\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}'|sort -d | uniq >> IPFile.txt 转载于:https:/...
Mac Shell查询两个文件下不重复IP总数
guochao6531的博客
09-07 3050
脚本文件 其主要是将两个文件内不同IP地址内容去重复，放置另外文件，查询总个数，详细内容，以后写下 a.txt 127.0.0.1 1222 127.0.0.1 2223 127.0.0.1 43434 127.0.0.1 9883 127.0.0.1 3434 127.0.0.9 4343b.txt127.0.0.1 34343 127.0.0.1 344 12
linux下统计文本行数的各种方法（二）
weixin_30606669的博客
12-13 136
上一篇讲的都是统计单个文件的方法，直接在命令行执行就可以。现在试试脚本的方式，统计多个文件的行数 一、统计目录下所有文件的文件数及所有行数 脚本暂时命名为count.sh，代码如下： #!/bin/bash # 计算当前或者指定目录的文件数目及所有文件的行数 fileCount=0 linesCount=0 function funCount(){ for ...
统计日志中ip访问次数并排序的三种方法
菜的不行的IT民工
05-09 2908
1 利用linux中的awk命令 grep "GET aaa.log| awk -F " " '{print $NF}' >d:/test.log 假设日志的最后一行是ip地址，则取出日志的最后一行以空格为分隔符并且重定向到d盘下的test.log中。 取出之后还可以进一步操作直接统计出ip访问的次数并且降序排列。 cat test.log | sed 's/:[0-9]\+//g'| awk '{IP[$1]++}END {for(a in IP) print a"-----"IP[..
50条最常用Linux系统命令大全手册
最新发布
04-23
30. **grep -c** - 计算匹配行数：在文件中搜索关键词并计算出现次数。 31. **tar** - 归档和压缩工具：打包多个文件或目录为一个归档文件，可配合gzip/bzip2等进行压缩。 32. **unzip** 和 **rar** - 解压缩文件...
绝版经典《Linux与UNIX Shell编程指南》
08-07
1.9.1 使用软链接来保存文件的多个映像 12 1.9.2 符号链接举例 12 1.10 小结 13 第2章 使用find和xargs 14 2.1 find命令选项 14 2.1.1 使用name选项 15 2.1.2 使用perm选项 16 2.1.3 忽略某个目录 16 2.1.4 使用user...
LINUX与UNIX SHELL编程指南(很全)
07-26
1.9.1 使用软链接来保存文件的多个映像 12 1.9.2 符号链接举例 12 1.10 小结 13 第2章 使用find和xargs 14 2.1 find命令选项 14 2.1.1 使用name选项 15 2.1.2 使用perm选项 16 2.1.3 忽略某个目录 16 2.1.4 使用user...
LINUX与UNIX SHELL编程指南
12-07
1.9.1 使用软链接来保存文件的多个映像 12 1.9.2 符号链接举例 12 1.10 小结 13 第2章 使用find和xargs 14 2.1 find命令选项 14 2.1.1 使用name选项 15 2.1.2 使用perm选项 16 2.1.3 忽略某个目录 16 2.1.4 使用user...
找到文件中出现次数最多的10个ip
a13602955218的博客
04-14 1227
方法1 awk {count[$1]++} END{for(i in count) print(count[i],i);} file_name | sort -nr | head -n 10 方法2 sort filename | uniq -c | sort -nr | head -n 10
python3给日志IP计算次数及排序
qq_39043100的博客
06-04 416
ip=[] zidian={} aa=open(’/root/1.txt’) han=aa.readlines() aa.close() for i in han: dizhi=i.split()[0] #切割出IP来 ip.append(dizhi) #加入到数组里面 xt=set(ip) #过滤出不同 for b in xt: zidian[b]=ip.count(b) #创建字...
使用Linux常用文本处理命令统计日志文件中访问量最大的十个IP地址
ZHUZIH6的博客
01-02 6590
sort命令、uniq命令、tr命令、cut命令和split命令相关综合使用
从某个文件中匹配出正确的ip地址
curiouswen的博客
10-12 845
#grep  '^[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}'  pp  |awk -F "."   \ {if($1
Linux面试题-8
weixin_30488313的博客
08-23 1093
1.Linux文件系统的文件都按其作用分门别类地放在相关的目录中，对于磁盘这种外部设备文件，一般应将其放在（C）目录中。 A./bin B./etc C./dev D./lib 2.当使用mount进行设备或者文件系统挂载的时候，需要用到的设备名称位于(D)目录。? A./home B./bin C./etc D./dev 3.有/etc/fstab文件中内容如下,介绍该文件每行每一列的...
linux下统计文本行数的各种方法之使用shell脚本统计
xu547823501的博客
01-05 4477
上一篇讲的都是统计单个文件的方法，直接在命令行执行就可以。现在试试脚本的方式，统计多个文件的行数 一、统计目录下所有文件的文件数及所有行数 脚本暂时命名为count.sh，代码如下： #!/bin/bash # 计算当前或者指定目录的文件数目及所有文件的行数 fileCount=0 linesCount=0 function funCount(){ for file in `l...
统计文件中ip出现的次数
qq_40722582的博客
10-17 878
有这样的一个IP文件， 统计每个IP出现的次数 awk '{print $2}' a.txt | sort | uniq -c uniq -c 能够在左边显示重复行出现的次数
Linux_去除重复的行并显示重复次数
m0_38034312的博客
08-08 3024
【1】 sort 后 uniq 。注意：uniq 不会检查重复的行，除非它们是相邻的行。如果您想先对输入排序，使用sort -u。 uniq中有参数，可以实现重复次数的输出 http://man.linuxde.net/uniq 【2】 用awk数组   awk '{x[$0]+=1}END{for( i in x){print i,x[i]}}' ...
Linux 统计文件中某个字符串出现的次数（2种方法，推荐第二种）
热门推荐
qq544649790的博客
11-18 4万+
1、单个字符串 grep -o str_1 filename | wc -l 备注：单个字符串可以不加引号 2、多个字符串 grep -o str_1\|str_2\|str_3…… filename | wc -l 备注：必须加引号（单、双都可以） 如果不加引号，结果是不正确的 grep -o 一条数据里面有多个相同，会统计相同的次数 grep 一条数据里面有多个相同，会统计一次...
Unix/Linux常用命令汇总：50个实例详解
本文档《50个最常用的Unix/Linux命令》是一份实用的指南，收录了50个在Unix/Linux系统中经常使用的命令，旨在帮助新用户快速上手和提高效率。以下是部分核心命令的详细介绍： 1. **tar**：这是一个强大的打包和压缩...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值