awk统计行数&去重展示

最新推荐文章于 2022-05-10 18:29:55 发布

代元培

最新推荐文章于 2022-05-10 18:29:55 发布

阅读量1.7k

点赞数

分类专栏： Bash Linux Shell

本文链接：https://blog.csdn.net/sosemseo/article/details/116539633

版权

awk

Bash 同时被 3 个专栏收录

47 篇文章 1 订阅

订阅专栏

Shell

25 篇文章 0 订阅

订阅专栏

Linux

21 篇文章 0 订阅

订阅专栏

# 统计第4列为0112并且第5列为00或者03的行数
awk -F '|' '{if(($4=="0112")&&($5=="00"||$5=="03")) print $1}' epcc0303_20210423.txt|wc -l

# 去重展示第一列的时间
awk -F '|' '{print $1}' epcc0303_20210422.txt|sort|uniq

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

代元培

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

awk按照文件第2列去重复

qq_21478261的博客

07-18

187

awk '!seen[$2]++'依次类推。

使用 awk for循环和数组实现去重功能：（sort 、uniq、tr 功能）

郑泽林

03-11

1813

文章目录这个是我自己写的全部关于 awk学习的目录导航，感兴趣的可以看看。本章直接使用 awk 中的for循环和数组实现去重 and 统计功能！在学习之前，先来看一个知识点：首先，我们将变量a的值设为1，进行加法计算...

参与评论您还未登录，请先登录后发表或查看评论

awk统计行数

red10057的专栏

11-16

1万+

awk 统计文件中满足特定条件的行数例文件tt.txt sdfasf,I,55,56,asdfadf223 sdfasf,I,55,56,asdfadf2230k 1313,I,55,56,asdfad xvxzv,I,55,56,asdf adfa,a,d,afasd vafasf,fff,aw,aaa fasf,a,55,56,asdf asdcc,I,55,fasd

awk 统计行数

热门推荐

11-13

3万+

awk 统计行数 awk 'BEGIN { sum = 0; } /root/ {print $0 sum++; } END { print sum; }' password root:x:0:0:root:/root:/bin/bash0 operator:x:11:0:operator:/root:/sbin/nologin1 2

AWK 行距和行号计算

极客点儿

07-26

731

http://blog.csdn.net/r77683962/article/details/8543488 http://blog.csdn.net/cbffyx/article/details/8998238 http://blog.sina.com.cn/s/blog_716844910100tfxv.html

awk 统计行总值

hanyh

07-07

221

[code="java"] awk -F"," 'ttl += $2 {print $2}' r1.csv | sort -n > t awk -F"," ' { ttl += $2; }END { print ttl }' r1.csv [/code]

awk统计字段出现行数（类似group by）

u011624157的专栏

03-01

1371

使用hdfs dfs -cat /prod/brand=xxx/*|awk -F "," '{print $4}' 可查看逗号分隔的第四个字段，如果想要统计该字段各值出现的次数，可以使用以下命令 hdfs dfs -cat /prod/brand=xxx/*|awk -F “,” ‘{count[$4]++;} END {for(i in count) {print i count[i]}}’ 命令可分解为两部分 1、{count[$4]++;} END #声明数组（数组名字可随便起，叫arr、li

【AWK】统计相同字符出现的行数

06-16

273

awk '{a[$1]++;if(!b[$1]++)c[++j]=$1}END{for(i=0;i++

shell中按列值统计行数及去除重复值

w417318472的专栏

03-28

4345

测试文件在系统文件中的shell文件夹中的test.log文件，内容为： abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! abcdefg higklmn 12345 fuck! afdsaff adfgaga 63542 fdasg sdfasfd sdafadf 12345 asdga jfaldjf sdfasfs 6354

awk分组求和分组统计次数

weixin_33910460的博客

10-08

6371

分组求和 1 awk '{s[$1] += $2}END{ for(i in s){print i, s[i] } }' file1 > file2 以第一列为变量名第一列为变量，将相同第一列的第二列数据进行累加打印出和. 1 awk '{s[$1" "$2] += $3}END...

生产环境awk最佳实践

01-17

第一种方法中使用了一个额外的计数器`i`来计算行数，而第二种方法直接使用了`awk`的内置变量`NR`来表示总的输入记录数。 #### 四、求最大值为了找到第二列的最大值，可以使用以下脚本： ```bash [root@liuhx~]#...

Shell——awk、sort、uniq工具命令详解

ML908的博客

12-06

1550

文章目录awk工具awk 包含几个特殊的内建变量（可直接用）如下所示：1、按行输出文本2、按字段输出文本3、通过管道、双引号调用Shell命令sort工具（排序）uniq工具（去重） awk工具 awk 所使用的命令格式，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。 awk 选项 ‘模式或条件 {...

awk行距，行号和计算

bright_mac的专栏

12-01

2万+

一. 行距：1. 每行间加一个空行awk 1; { print "" } filname.ext #输出当前行，在输出一个空行awk 1 { print } { print "" } filname.ext awk { print } { print "" } filname.ext2. 1的另外一种实现方法：awk BEGIN { ORS=

Linux-京东字节百度提前批，一面二面都被问到了awk——实例篇（2）去重统计排序

夏普通

05-10

900

去年提前批我投了京东、字节和百度，一面，二面都被问到了awk，如果你会，并且还很熟悉，那肯定算是一个加分项了！好感度up up up！基本原理本篇不再赘述。请阅读：总结了200篇面经中的awk面试题，看看面试官会问什么！——原理篇总结了200篇面经中的awk面试题，看看面试官会问什么！——实例篇可能看完原理篇你还不是太清晰要怎么用，但是看完实例，绝对都能懂了！！重复的实例，代码只写一遍，看的时候举一反三。涉及到的其他命令，在第一次出现时会进行说明。有需要注意的格式、重点等等，在讲到具体实例的

linux awk 按多列去重来统计数据之妙用

会当凌绝顶一览众山小

04-18

2468

这是我日常工作统计日志用到的，现记录下：比如有这样一个日志：需要统计push,的点击数量，按cookie去重，因为一个设备可能点击多次第一步，先看看这几列，打印出来看看， awk -F "," '{print $2" "$3" "$6" "$7" "$9}' pushLog.log 第二步，按上面的几列去重 awk -F "," '!a[$2

使用awk按照行数切割文件

Yonx

08-12

1059

使用awk按照行数切割文件最近在做一个事情，需要将一个文本文件按照行数进行切割脚本如下: #!/bin/bash ## 文件效果: 根据行数来切割文件 ## 参数1为要切割的文件名 ## 参数2为每个切割后文件的行数 filename=$1 fileline=$2 echo "filename=$filename" echo "fileline=$fileline" awk -v count=$fileline 'BEGIN{i=0} { print $0 > sprintf(

正则awk和查看文件行数

weixin_30470643的博客

09-30

427

[root@WebServer aa]# cat oldboy.txt I am oldboy myqq is 49000448[root@WebServer aa]# cat oldboy.txt |cut -d " " -f3,6oldboy 49000448[root@WebServer aa]# awk '{print $3,$6}' oldboy.txt oldboy 49000448 ...

linux shell awk 统计行数,linux统计大文件行数的命令效率大对比,牛掰的awk 'END{print NR}' file...

weixin_33328213的博客

05-15

1131

[Administrator@mc-win@/cygdrive/e/SoftWares/Project/log/click/2017-03-17@10:33:49]517 $ time awk '{print NR}' click.log_2017-03-17T04|tail -n1116570real 0m2.535suser 0m1.499ssys 0m1.093s[Adm...

awk去重以某列重复的行

u010412301的博客

02-28

3480

awk去重以某列重复的行[root@localhost cc]# cat 2.txt adc 3 5 a d aa 3 adfa d ba 3 adf去重第一列重复的行：[root@localhost cc]# cat 2.txt |awk '!a[$1]++{print}'adc 3 5 a d a重复的行取最上面一行记录去重以第一列和第二列重复的行：[root@localhost cc]# c...