AWK对文本按行或按域进行去重

最新推荐文章于 2021-04-29 06:08:21 发布
最新推荐文章于 2021-04-29 06:08:21 发布
阅读量2.4k 收藏 2
点赞数
分类专栏： AWK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tree2011/article/details/24883845
版权


转载请附上原文链接：http://blog.csdn.net/tree2011/article/details/24883845


首先解释下几个AWK名词

记录：首先AWK是按行进行处理的，每行代表一个记录

域：将记录按分隔符分成多个域，默认分隔符为空格或tab符。分别用内建变量中存储，如$0,$1,$2...

如某行10086 10010 192.168.0.0.1 8080

  那么$0代表整行记录10086 10010 192.168.0.0.1 8080，$1代表：10086，$2代表：10010，$3……依次类推

1、按整行进行去重

使用：

awk  '{ if (! array[$0]++) { print $0
最低0.47元/天 解锁文章
tree2011
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文本文件按行去重
07-16
支持文本文件（不限于txt）去除重复行，自行修改输入文件即可
awk与cut命令进行比较（就awk与cut按列提取文本内容方面进行比较）
01-09
用cut和awk命令按列去文本进行提取 用cut分别提取第一列第二列 明显提取失败可见对于cut并不认识空格符所以它把这3列作为整体。接下来用awk提取 也是提取前2列 提取成功 可见对于awk把空格符当作分隔符，但是对于...
awk 去除重复行
hanbo_112的博客
12-19 2284
awk的程序指令由模式和操作组成，即Pattern { Action }的形式，如果省略Action，则默认执行 print $0 的操作。 模式（Pattern）用于筛选记录，操作（Action）用于处理字段，操作可以有多个，大括号内用；号隔开。 awk  '!S[$0]++'  file.txt    ++ 先赋值再+1 ! 直接取反，若S[$0] 不存在数组里，运
awk 统计域出现的次数并且排序
weixin_33872660的博客
09-09 202
[root@VM_166_163_centos ~]# cat 1aaabbbdeesxdsscsdxcsdsxfdd[root@VM_166_163_centos ~]# awk '{num[$1]++} END{for(k in num)print k,"----",num[k]|"sort -rk 2"}' 1s ---- 6d ---- 6x ---- 3b ----...
awk处理多行文本的记录
weixin_30457465的博客
03-27 273
awk使用内置的变量RS将输入流拆分为一个个记录(record)，使用FS将一个记录拆分为若干个域（field)。RS的默认值为\n，FS的默认值为空白字符。有时候会出现一个记录跨越多行的情况，这时就需要手动设置RS为记录中不会出现的字符（否则会将一个记录拆分为两个记录），如空行(RS=””）、分页符(RS=”\f”）、或者一个正则表达式（POSIX只支持单个字符，正则表达式需要gawk）。 一...
awk进行行分隔
Frank_Abagnale的博客
02-03 7299
awk进行行分隔，处理文件或字符串
awk命令 文本和数据进行处理的编程语言
01-20
awk命令是一种编程语言，用于在linux/unix下对文本和数据进行处理。 而且它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。 语法格式：awk [参数] [文件] 常用参数： -F ...
sed或awk处理文件最后一行的实现方法
01-11
判断如果是文本最后一行则在第一列前面加total1:,第二列加total2:, 第三列后面减掉后面两个字符并加end。 分别用sed与awk来实现。sed： 代码如下:echo ‘abcd 1234 fds2011 5501023 832er 1231′ |sed -r ‘$s/([^ ]...
Shell文本处理工具–awk
12-21
awk 用法： awk　-F 分隔符 BEGIN{}{}END{}　FILENAME　默认以空格为分隔符 BEGIN和END可以忽略不写。 NR #显示行数 NF #列数 以冒号为分隔符，每一行的列数。 以bash结尾的行的列数。 打印出以bash结尾的行。...
教你如何使用 awk 处理文本内容.doc
10-21
它的基本工作方式是逐行扫描文件，将每一行分解成字段，然后根据预定义的模式对这些行或字段进行匹配，并对匹配的行执行相应的操作。这个工具在数据处理、日志分析和报告生成等场景下非常有用。 在文本处理中，awk ...
awk数组计数和去重---统计域名访问次数
weixin_34168880的博客
06-10 366
1.awk数组假设我们有一个酒店酒店<===>Green酒店里面有几个房间515，516，517，519这几个房间酒店515房间<===>GreenHotel[515] 酒店516房间<===>GreenHotel[516] 酒店517房间<===>GreenHotel[517] 酒店519房间<===>GreenH...
linux统计排序命令,Linux命令去重统计排序（awk命令去重，sort, uniq命令去重统计）...
weixin_34805367的博客
04-29 499
awk命令去重，sort, uniq命令去重统计利用Linux命令行进行文本按行去重并按重复次数排序linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用Linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是实现相邻文本行的去重，cut可以从文本行中提...
linux uniq去重，awk输出（可用于爆破字典优化）
weixin_30760895的博客
06-29 732
#字典去重，并按照出现次数倒叙排序 cat 字典.txt |sort |uniq -c|sort -rn| head #字典去重，并按照出现次数倒叙排序，并且去掉出现次数 cat 字典.txt |sort |uniq -c|sort -rn|awk '{print $2}'| head #选择字典中长度小于等于4的密码，（这里+1的...
Linux去重 排序 计数 分隔 命令 awk sort wc uniq
IamOceanKing的博客
11-24 1226
grep 关键字 /data/log/xxx-error*|awk -F ‘分隔词\”:\”’ ‘{print 2}'|awk -F '\"' '{print2}'|awk -F '\"' '{print 1}’|sort -u|wc -l 去重加排序并计数
Linux awk 按行内容去重
LionBule
01-24 764
awk 介绍 1. 先上例子 cat test.log |sort |awk ' BEGIN{m="";} { if(m=="" || m!=$1){m=$1; print $1;} } ' |wc -l   2. 解释例子     2.1 cat       查阅test.log内容     2.2 |sort     对test.log的内容进行排序     ...
awk去重
huanpipeng0560的博客
08-26 281
awk去重以某列重复的行 [root@localhost cc]# cat 2.txt adc 3 5 a d a a 3 adf a d b a 3 adf 去重第一列重复的行： [root@localhost cc]# cat 2.txt |awk ‘!a[$1]++{print}’ adc 3 5 a d a 重复的行取最上面一行记录 去重以第一列和第二列重复的行： [root@localhost cc]# cat 2.txt |awk ‘!a[$1" "$2]++{print}’ adc 3 5 a
awk命令 去掉重复行
江晓龙的博客
09-24 3681
linux awk命令 去掉重复行 1.打印指定列 域信息 more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}' 2.把文件中的重复行 写入 lance444 awk 'a[$0]++' lance.txt >> lance444.txt 3.把 lance.txt 文件中的不重复行 写入 lance333 awk '!a[$0]++' lance.txt >> lance3333.txt 4.查询文件夹
Linux使用awk去掉重复值的几种情况
不二先生的笔记
08-01 7743
记录下美好生活
awk是什么？如何使用awk进行文本处理？
最新发布
03-23
awk是一种文本处理工具，它在Unix和类Unix系统中广泛使用。它的名字来自于它的三位创始人：Alfred Aho、Peter Weinberger和Brian Kernighan的姓氏首字母。 awk的主要功能是对文本文件进行逐行处理，并根据用户指定的规则进行匹配、提取和转换。它使用一种简单而强大的脚本语言，可以轻松地处理结构化文本数据。 使用awk进行文本处理的一般步骤如下： 1. 构造一个awk脚本，可以使用文本编辑器创建一个以.awk为后缀的文件。 2. 在脚本中定义规则和动作。规则用于匹配文本行，动作用于对匹配到的行进行处理。 3. 运行awk命令并指定脚本文件和待处理的文本文件作为输入。 以下是一个简单的示例，演示了如何使用awk提取文本文件中的特定字段： ``` # 示例文件input.txt John 25 Alice 30 Bob 28 # 示例脚本script.awk { print $1 } # 打印每行的第一个字段 # 运行awk命令 awk -f script.awk input.txt ``` 运行上述命令后，将输出： ``` John Alice Bob ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值