awk 实现sql中group by sum max

已于 2022-07-16 07:34:05 修改
阅读量627 收藏 3
点赞数
分类专栏： shell awk 文章标签： 大数据 linux
于 2022-07-13 11:07:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Brad_Q1/article/details/125756487
版权
本文介绍了如何利用awk命令来实现类似SQL中的group by、计数、求和、取最大值和最小值以及计算平均值等功能。通过举例说明了awk的内置变量如NR、FNR、FS、OFS的用法，以及在数据处理过程中的应用。
摘要由CSDN通过智能技术生成

文章目录

awk常见内置变量

  • NR 输入文本文件的记录是第几条数
  • FNR 当前文件的记录第几条
  • FS 输入文件字段分割符，一般写做-F
  • RS 输入文件的行分隔符
  • OFS 输出文件的字段分隔符

几个例子

NR和FNR

准备了两个文件，如下。查看下文本内容

cat testing_file3
cat testing_file4

在这里插入图片描述

看一下FNR和NR的区别

awk '{print FNR, NR}' testing_file3 testing_file4

NR表示awk计数总共进行到了第几条，而FNR(F是file，文件的意思）则表示新打开的文件会重新计数。
原文testing_file3只有6条记录，所以FNR从第7条记录的时候又开始重新计数，而NR则继续往下进行

最低0.47元/天 解锁文章
SQL语句-入门到精通
gqren003
07-31 1814
SQL，Structured Query Language，中文结构化查询语言，是一种对关系数据库 数据定义和操作语言。sql_mode是对SQL语法控制和效验的一套规则having用途having子句常用在group by子句过滤后，再进行判断筛选。having子句实践#1.统计中国每个省的城市个数，并把超过10个城市个数的输出#使用聚合函数,GROUP_CONCAT(NAME)#生产经验：having子句不走索引，效率低，尽量减少使用，除非结果集很少，如果结果集大，且非要用，可以从库做。
TiDB 相关 SQL 脚本大全
最新发布
weixin_42241611的博客
06-01 824
Engine 隔离：默认：[“tikv”, “tidb”, “tiflash”] 由于 TiDB Dashboard 等组件需要读取一些存储于 TiDB 内存表区的系统表，因此建议实例级别 engine 配置中始终加入 “tidb” engine。SHOW CONFIG 语句用于展示 TiDB 各个组件当前正在应用的配置，请注意，配置与系统变量作用于不同维度，请不要混淆，如果希望获取系统变量信息，请使用 SHOW VARIABLES (● 方法一：使用函数 TIDB_PARSE_TSO。
awk实现groupby和join
u012922485的博客
05-26 509
1.awk实现join 最终要实现类似 select a.a,a.b,b.name from a left join b on a.id=b.bid group bya.a,a.b,b.name shell的写法 awk -f name.awk file1 file2 > file3 name.awk的写法： BEGIN{ FS="\t";OFS="\t"; #设置分隔符 } # argument index 1 file - id,deali...
Awk/Unix group by
gong_xucheng的专栏
03-25 263
have this text file:name, age joe,42 jim,20 bob,15 mike,24 mike,15 mike,54 bob,21 Trying to get this (count):joe 1 jim 1 bob 2 mike 3 Thanks, $ awk -F, 'NR>1{arr[$1]++}END{for (a in arr) print a...
AWK之分组聚合
DataCareer的博客
11-06 6550
AWK分组统计功能很强大，我们以下面的数据做几个实验给大家展示一下效果。
linux通过awk命令实现分组统计（计数、求和）实现group by功能
热门推荐
Knightley_K的博客
10-09 1万+
awk实现分组统计一、根据某列进行分组计数二、根据某列对另一列进行分组求和三、根据限定条件进行分组计数或求和 举例： 以下为待分析内容： 北京|少年|23 河北|少年|15 北京|青年|35 上海|少年|6 北京|中年|19 上海|青年|28 三列分别为地区、年龄段、去过城市个数 一、根据某列进行分组计数 根据地区统计人数 cat test.txt|awk -F '|' '{x[$1]++;} END{for(i in x) print(i ":" x[i])}' 结果如下： 上海:2 河北:1 北京
awk实现group by功能分组统计条数
Yonx
08-10 413
log日志初始文件内容如下： "2021-07-26 09:23:04","ac:c1:ee:3c:f9:44","http://enterprising.cloud.com:16621/api/pageTime?uid=&hitID=bootstrap&browserID=2Cxz4MWqDSJDHJ5RliLg7QtfIpaxkt4h","192.168.126.29","1","2","δ֪","chrome","3000fa","ÊÖ¹¤ÉÏÏß[3000fa]" "..
用Linux命令行实现SQL的groupby
07-27
`GROUP BY`通常与聚合函数（如`COUNT()`, `SUM()`, `AVG()`, `MAX()`, `MIN()`）一起使用，将数据根据指定的列进行分类，并对每个类别的结果应用聚合操作。例如，如果我们有一个销售表，我们可能想要按产品类别计算...
Hive Sql题
OwlWing的博客
02-21 1247
第一题： 了解哪些窗口函数，都是什么功能？找一个在某个业务中的应用？ 手写窗口函数及功能意义，同时随便写一个带窗口函数的sql，并说明其sql的含义。 ​ 2、求出每个栏目的被观看次数及累计观看时长？ 数据: video表 uid channel min 1 1 23 2 1 12 3 1 12 4 1 32 5 1 342 6 2 13 7 2 34 8 2 13 9 2 134 create table video( uid int, channel ...
详解SQL语句中的GROUP BY和聚合函数COUNT、SUM、AVG、MIN和MAX。
tigerhhzz的博客
04-17 3854
在SQL中，GROUP BY语句和聚合函数是非常常用的功能，可以帮助我们对数据进行分组和聚合处理。GROUP BY语句的语法和使用方法，可以用于对数据进行分组；聚合函数包括COUNT、SUM、AVG、MIN和MAX，可以用于对数据进行聚合处理；HAVING语句用于在对分组进行聚合后，筛选出满足条件的记录。在实际的数据库操作中，我们可以根据具体的业务需求，灵活地使用GROUP BY语句和聚合函数，来完成各种数据处理和分析任务。
使用awk数组功能实现类似SQL语句中的group by功能
匿_名_用_户的专栏
03-21 947
使用awk数组功能实现类似SQL语句中的group by功能文本处理中，有时需要实现类似SQL语句中的group by功能。在关系数据库中，实现很容易，比如下面的group by SQL语句可以查询每个月的总收入inst105@db2a:~$ db2 "select * from test"MONTH      INCOME    ---------- -----------Jan        ...
sed+awk模拟简单sql查询
congbao6525的博客
09-22 106
经常需要用sqlplus去查询一些数据字典类型的数据，这些数据量不大，而且需要环境之间都是一样的，所以就想使用离线查询的方式，把那些数据以平面文件的形式存放，然后通过系统级的操作来输出。以下使用 sed 和awk来实现。还有很多...
常用统计分析 SQL 在 AWK 中的实现
wisgood的专栏
11-12 1314
最近有需求需要本地处理一些临时的数据，用做统计分析。如果单纯的 MYSQL 也能实现，  不过一堆临时数据这样从 mysql 导来导去还是挺麻烦的，比较理想的选择是本机装个 cygwin  环境，然后可以用 awk 等 shell 工具做即时处理。  本文主要讲述如何在 awk 中实现 SQL 的常用操作，当做个简单的 awk 入门分享。 虽然文中部分 awk 会有其它更简洁高效的
linux 基本命令之AWK 算sum/avg/max/min
Zack 的博客
08-23 8931
自己动手敲一敲吧，
awk实现group by ,统计log最大访问的ip
iefjovi的专栏
08-12 466
之前遇到的问题， 怎么统计log中，哪些ip访问的次数最多。 主要思路就是awk+sort 根据第二个字段进行分组计算数量可以使用： 例子： 1 A 1 2 B 2 3 C 1 4 D 1 5 E 3 6 A 2 7 B 1 8 C 2 9 D 3 [code="linux"] awk '{a[$2]+=1}END{fo...
用awk做log聚合
至虛極，守靜篤
05-10 183
日前拿到一份log，一个完整数据集被写在两条log里，通过索引字段排序后，呈现出如上表样式的csv格式。
shell 日志分析 获取code的统计——grep awk group功能使用
fei33423的专栏
01-19 5200
1. grep "request:(recharge" datafile.log* | grep -v "code=200" >> recharege.log排除code为200的 1.1 *代表通配符 1.2 -v 代表非含义2. 然后用awk 进行group by操作。note: awk能够自动生成变量。 通过数组名+小标共同唯一确认。例子：我有一文本文件，例如姓名 类型...
使用awk聚合和排序
dhcao1112的博客
12-04 1171
用cat和grep筛选文件之后，awk对文件做聚合，sort进行排序
使用awk实现文件包含及与其他程序交互
"《节提到的文件包含程序就...`awk`是一个强大的文本处理工具，尤其适用于Unix/Linux环境中，通过它的灵活性和功能，可以实现复杂的数据处理任务。通过深入学习和应用`awk`，可以在日常工作中大大提高文本处理的效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Brad_Q1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值