awk 实现sql中group by sum max

已于 2022-07-16 07:34:05 修改
阅读量404 收藏 3
点赞数
分类专栏： shell awk 文章标签： 大数据 linux
于 2022-07-13 11:07:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Brad_Q1/article/details/125756487
版权

文章目录

awk常见内置变量

  • NR 输入文本文件的记录是第几条数
  • FNR 当前文件的记录第几条
  • FS 输入文件字段分割符，一般写做-F
  • RS 输入文件的行分隔符
  • OFS 输出文件的字段分隔符

几个例子

NR和FNR

准备了两个文件，如下。查看下文本内容

cat testing_file3
cat testing_file4

在这里插入图片描述

看一下FNR和NR的区别

awk '{print FNR, NR}' testing_file3 testing_file4

NR表示awk计数总共进行到了第几条，而FNR(F是file，文件的意思）则表示新打开的文件会重新计数。
原文testing_file3只有6条记录，所以FNR从第7条记录的时候又开始重新计数，而NR则继续往下进行

最低0.47元/天 解锁文章
Brad_Q1
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
linux通过awk命令实现分组统计（计数、求和）实现group by功能
Knightley_K的博客
10-09 1万+
awk实现分组统计一、根据某列进行分组计数二、根据某列对另一列进行分组求和三、根据限定条件进行分组计数或求和 举例： 以下为待分析内容： 北京|少年|23 河北|少年|15 北京|青年|35 上海|少年|6 北京|中年|19 上海|青年|28 三列分别为地区、年龄段、去过城市个数 一、根据某列进行分组计数 根据地区统计人数 cat test.txt|awk -F '|' '{x[$1]++;} END{for(i in x) print(i ":" x[i])}' 结果如下： 上海:2 河北:1 北京
awk实现group by功能分组统计条数
Yonx
08-10 368
log日志初始文件内容如下： "2021-07-26 09:23:04","ac:c1:ee:3c:f9:44","http://enterprising.cloud.com:16621/api/pageTime?uid=&hitID=bootstrap&browserID=2Cxz4MWqDSJDHJ5RliLg7QtfIpaxkt4h","192.168.126.29","1","2","δ֪","chrome","3000fa","ÊÖ¹¤ÉÏÏß[3000fa]" "..
shell 日志分析 获取code的统计——grep awk group功能使用
fei33423的专栏
01-19 5154
1. grep "request:(recharge" datafile.log* | grep -v "code=200" >> recharege.log排除code为200的 1.1 *代表通配符 1.2 -v 代表非含义2. 然后用awk 进行group by操作。note: awk能够自动生成变量。 通过数组名+小标共同唯一确认。例子：我有一文本文件，例如姓名 类型...
awk实现groupby和join
u012922485的博客
05-26 344
1.awk实现join 最终要实现类似 select a.a,a.b,b.name from a left join b on a.id=b.bid group bya.a,a.b,b.name shell的写法 awk -f name.awk file1 file2 > file3 name.awk的写法： BEGIN{ FS="\t";OFS="\t"; #设置分隔符 } # argument index 1 file - id,deali...
awk的类sql数据处理（转载）
记录成长之路
05-11 814
<br />转载自：http://blogold.chinaunix.net/u3/91453/showart_1798635.html<br /> <br /><br />    工作中经常处理文本数据，以前经常接触db2数据库，最近在学习awk的过程中发现awk处理数据的强大，可谓无所不能！下面讲的就算awk对sql语句统计数据的模拟。<br />一、先讲讲sql的单表操作，对应awk的单文件处理。<br />    测试环境：sco unix + db2，数据文件名file，数据库表名mytable，
用Linux命令行实现SQL的groupby
07-27
`GROUP BY`通常与聚合函数（如`COUNT()`, `SUM()`, `AVG()`, `MAX()`, `MIN()`）一起使用，将数据根据指定的列进行分类，并对每个类别的结果应用聚合操作。例如，如果我们有一个销售表，我们可能想要按产品类别计算...
awk中实现ord函数功能
09-15
然而，awk本身并不内置这个函数，因此在awk中实现ord函数的功能需要自定义方法。本文将详细解释如何在awk中实现ord函数，并提供两种不同的实现方式。 首先，我们来看第一种实现方式： ```awk awk 'BEGIN{ for (i ...
Python实现像awk一样分割字符串
12-16
下面我们将探讨如何在 Python 中实现类似 awk 的字符串分割功能。 首先，让我们回顾一下在 awk 中的例子： ```bash [root@localhost ~]# cat demo.txt hello world [root@localhost ~]# awk '{print $1, $2}' demo....
Shell脚本中awk指令的用法
09-15
在Shell脚本中，awk是一种强大的文本分析工具，它能够处理和解析文件中的数据，尤其在处理结构化数据时非常有效。awk的工作原理是逐行读取输入文件，然后对每一行执行用户定义的指令。下面我们将深入探讨awk指令在...
Linux中awk的使用方法详解
09-14
【Linux中awk的使用方法详解】 awk 是 Linux 及 Unix 环境中的一款强大文本处理工具，被誉为文本处理三剑客之一。它的名字源于其创始人 Alfred Aho、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。awk 具有...
AWK命令 实现分组 group_concat的效果，合并相同列的其他数据列
z69183787的专栏
06-11 1810
txt结构如下 cost_amount,cost_type,coupon_amount,coupon_name,coupon_source,coupon_type, ctime, etime, id,order_amount_limit, order_id, phone, stime,user_coupon_status, u...
使用awk聚合和排序
dhcao1112的博客
12-04 1125
用cat和grep筛选文件之后，awk对文件做聚合，sort进行排序
AWK之分组聚合
DataCareer的博客
11-06 6501
AWK分组统计功能很强大，我们以下面的数据做几个实验给大家展示一下效果。
awk批量处理文本构造SQL语句
u013275759的博客
03-26 248
分割文件 # 每行按空格或TAB分割，输出文本中的1、4项，没有-F指定的话默认空格分割 $ awk '{print $1,$4}' log.txt # 格式化输出 $ awk '{printf "%-8s %-10s\n",$1,$4}' log.txt # 使用多个分隔符.先使用空格分割，然后对分割结果再使用","分割 $ awk -F '[ ,]' '{print $1,$2,$5}' log.txt #设置变量-v，给分割后的字符计算拼接 $ awk -va=1 -vb=s '{print
linux shell 分组统计,Shell学习笔记：awk实现group by分组统计功能
weixin_35426913的博客
05-13 3551
日常部分数据以 txt 的文件格式提供，为避免入库之后再进行统计的麻烦，故学习 shell 进行处理，减少工作量。1.样例数据# test.txtYD5Gxxx|6618151|6825449073|6476534190|36251|超级会员|0YD5Gxxx|8968336|1445546463|6476534190|36251|超级会员|0YD5Gxxx|2545939|6904742993|...
awk统计字段出现行数（类似group by）
u011624157的专栏
03-01 1338
使用hdfs dfs -cat /prod/brand=xxx/*|awk -F "," '{print $4}' 可查看逗号分隔的第四个字段，如果想要统计该字段各值出现的次数，可以使用以下命令 hdfs dfs -cat /prod/brand=xxx/*|awk -F “,” ‘{count[$4]++;} END {for(i in count) {print i count[i]}}’ 命令可分解为两部分 1、{count[$4]++;} END #声明数组（数组名字可随便起，叫arr、li
awk实现group by 功能
xiaozhuangfeng的专栏
08-29 9789
[app_usr@ haha]$ ls BOSSNM_0_3032_9069_50_H1_20120315_020_00000011_000.json  BOSSNM_0_3032_9069_50_H1_20120315_020_00000015_000.json BOSSNM_0_3032_9069_50_H1_20120315_020_00000012_000.json  BOSSNM_0
awk实现文本中只抓取含paste的行
最新发布
07-14
可以使用awk命令来实现文本中只抓取含有"paste"的行。下面是一个示例命令： ```shell awk '/paste/' file.txt ``` 这个命令会打印出文本文件"file.txt"中所有含有"paste"的行。你可以将"file.txt"替换为你要处理的文件名。注意，这个命令是区分大小写的，如果你希望不区分大小写，可以使用`tolower()`函数来实现： ```shell awk 'tolower($0) ~ /paste/' file.txt ``` 这样就可以同时匹配"PASTE"、"Paste"、"paste"等不同的大小写形式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Brad_Q1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值