awk: 好用的数据处理工具

最新推荐文章于 2024-10-09 17:52:59 发布
最新推荐文章于 2024-10-09 17:52:59 发布
阅读量184 收藏
点赞数
分类专栏： 自我修炼 文章标签： shell linux awk 数据处理 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OneShoott/article/details/92831789
版权

引言

平常工作或学习中总是需要对一些数据进行处理（例如在工作中，需要对日志的一些数据进行统计）。而awk 这是好用的工具之一，倾向于一行当中分成数个字段进行处理。

基本概念

公式

awk '条件类型1{操作1} 条件类型2{操作2} ...' filename

操作说明

处理对象

两个单引号+大括号{} 设置想要对数据进行的处理操作， filename表示处理的数据文件。

1、可以对文件进行操作。 如: awk '***' filename
2、 可以接前一段命令的输出。 如: grep *** filename | awk '***' 表示对查询结果的处理

处理流程

awk '条件类型1{操作1} 条件类型2{操作2} ...' filename
1、读入第1行，并将第1行的数据写入$0、$1、$2… 其中$0表示整行, $n表示分割之后第n列（这里会有个坑，后续会碰到）
2、根据『条件类型』的限制，判断是否需要进行后面的"操作"。
3、完成所有操作与条件类型、
4、若还有后续的【行】的数据，重复1~3。

分隔符

前面说到awk主要处理每行字段内的数据，这意味着要对每一行进行分段。默认分割字段为"空格键" 和 “[Table]键”。

如在文件中写入"123 234" echo "123 234" > 1.data
然后如果想分别打印出来则可以使用awk '{print "第一列:"$1"\t第二列:"$2}' 1.data
在这里插入图片描述
如果在文件中写入的是"123,234" echo "123,234" > 2.data
那在想要得到相同的效果， 则需要设置分隔符定义：

1、 可以使用 -F’,'的形式： awk -F',' '{print "第一列:"$1"\t第二列:"$2}' 1.data
在这里插入图片描述
emmmm 貌似出了问题。。检查一下，发现是 1.data，中间为空格，因此以逗号(,) 分割的话，只会分割出一列来。第二列的值为空。
修改过来后，解决
在这里插入图片描述
2、可以采用awk的内置变量帮忙"FS" awk '{FS=","} {print "第一列:" $1 "\t第二列"$2}' 2.data
在这里插入图片描述
emmmm 貌似又粗了问题。。再检查一下，看似没问题。
这里就是上面说到的坑
在这里插入图片描述
对于第一行的处理，是先读入，再根据分隔符（此时没有用-F设置，因此还用的是默认分隔符【空格】or【TAB】 ）填入$0 …
直到第二行再以FS=',' 进行处理
因此解决办法就是采用流程控制关键词BEGIN。
BEGIN后的操作块 表示在处理任何输入数据之前执行，通常用来修改内置变量的值，例如域分隔符FS，输出分隔符OFS，每行间的分隔符ORS等
其他的流程控制关键词后续会统一说明

内置变量

awk自带多种内置变量，熟练掌握可以再处理数据时更加得心应手

变量名称代表意义
NF每一行($0)拥有的字段总数
NR目前awk所处理的是第几行数据
FS目前的分隔字符
OneShoott
关注
专栏目录
Linux中awk工具的使用
谢公子的博客
10-09 4万+
目录 awk awk的用法 awk中字符的含义 print 打印 字符匹配 格式化输出 举例 awk awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，默认以空格为分隔符将每行切片，切开的部分再进行各种分析处理。 awk是行处理器,相比较屏幕处理的优点，在处理庞大文件时不会出现内...
17.文本处理工具awk
小鹏linux的博客
04-07 1652
awk是基于列的文本处理工具，awk认为文件都是结构化的，也就是说都是由单词和各种空白字符组成的，这里的“空白字符”包括空格、TAB以及连续的空格和TAB等。每个非空白的部分叫做“域”从左到右依次是第一个域第二个域等。$1、$2分别用于表示域，$0则表示全部域。printf：可以自定义输出的模式，另外输出内容之后不自动换行，print：输出内容之后自动换行。print 中不能使用%s ,%d 或%c。
shell awk 入门
weixin_34233618的博客
07-11 155
awk：好用的数据处理工具   awk 也是一个非常棒的数据处理工具！sed 常常用于一整个行的处理， awk 则比较倾向于一行当中分成数个『栏位』（或者称为一个域，也就是一列）来处理。因此，awk 相当的适合处理小型的数据数据处理呢！awk 通常运行的模式是这样的： [root@www ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename awk ...
[Linux基础]-- awk和sed使用介绍
欢迎来到我的博客，一起探索代码里的世界！
11-14 672
一、awk：好用的数据处理工具 sed 常常用于一整个行的处理， awk 则比较倾向于一行当中分成数个『栏位』（或者称为一个域，也就是一列）来处理。 因此，awk 相当的适合处理小型的数据数据处理呢！awk 通常运行的模式是这样的： [root@www ~]# awk '条件类型1{动作1} 条件类型2{动作2} ...' filename awk 后面接两个单引号并加上大括号 {} ...
Awk使用及网站日志分析
热门推荐
Tao_cuichen的博客
04-21 1万+
Awk使用及网站日志分析         Awk简介 概述 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。awk程序的报告生成能力
shell编程之awk（数据筛选与处理）
锦衣
06-05 1万+
shell编程之awk（数据筛选与处理）awk 命令介绍awk 语法awk 的基本应用awk 对字段（列）的提取awk 对记录（行）的提取awk 程序的优先级awk 高级应用-F命令选项awk 定义变量（-v命令）awk 定义数组awk 运算awk 比较预算：>、>=、==、<、<=、!=awk 数学运算：+、-、\*、/、\*\*、%、++、+=、--、-=awk 字符串匹配运算：==、!=、\~、!\~awk 逻辑运算：&&、||awk 环境变量FIELDWIDT
Shell文本处理工具–awk
12-21
总之，awk 是一个强大的文本处理工具，通过理解其基本语法和内置变量，我们可以高效地处理各种复杂的文本数据处理任务。在 shell 脚本中，awk 提供了一种简洁的方法来分析和操作文本文件，对于系统管理员和程序员来...
linux awk提取txt文件中的数字,awk：一个强大的文本分析工具
weixin_42405368的博客
05-15 2241
原标题：awk：一个强大的文本分析工具 awk是流式编辑器，针对文档中的行来操作，一行一行地执行。awk可以非常方便、高效地操作文档以及字符，从而实现我们想要的格式。它的功能非常强大，我在 shell 脚本中经常使用它来处理字符串。下面介绍几个在工作中使用awk较频繁的用法。1. 截取文档中的某个段示例命令如下：# head -n2 test.txt |awk -F ':' '{print $1}...
awk文本处理工具
03-12
awk是一种在Linux/Unix环境下广泛使用的文本处理工具，它是编程语言的一种，能够高效处理文本和数据。在Linux运维中，awk、sed和grep被称为“文本处理三剑客”，尤其在编写Shell脚本自动化任务时发挥着重要作用。awk...
sed与Awk：文本处理中的黄金组合
sed和Awk是Unix和类Unix系统中广泛使用的文本处理工具。它们可以通过简单的命令和脚本来对文本进行搜索、替换、过滤和转换操作。sed是Stream Editor（流编辑器）的缩写，而Awk则是取自三位创建者的首字母：Aho、...
一张图快速帮助你精通Awk命令
根叔的修炼笔记
01-08 272
从第一个Awk命令开始 学习一种语言的最快方法就是去使用它，所以接下来要做的就是写出第一个Awk命令。 从hello world开始学习 现在开始体验地一个Awk示例： $ awk 'BEGIN{ print "hello,world"}' hello,world 怎么理解这段命令呢？ 这是一段没有输入，只有输出"hello,world"的命令。 awk 'BEGIN{ print "hello,world"}' 这段代码的awk是命令名称，后面单引号内的部分是awk要执行的程序部分。 程序部分
awk脚本处理数据
dugushangliang的博客
07-05 3233
转载请注明作者（独孤尚良dugushangliang）出处：https://blog.csdn.net/dugushangliang/article/details/80929741 我们可以在本机电脑上编辑awk脚本，再放上linux系统上运行。 首先，创建awk脚本。我们可以新建文本文件，再改名，如test.awk。用记事本或其他顺手的软件打开此文件。 开头一般都是： #! /...
20190328-几种数据清洗的方法
鲨鱼胃的博客
03-28 3831
清洗有缺失的行（存在空值、null值等） 源数据 [yao@master data]$ head -2 tmall-201412-1w.csv 13764633023 2014-12-01 02:20:42.000 全视目Allseelook 原宿风暴显色美瞳彩色隐形艺术眼镜1片 拍2包邮 33.6 2 18067781305 13377918580 2014-12-17 08:10:25....
用awk和gnuplot绘制曲线图
diaohanzhi4636的博客
11-03 1013
用awk和gnuplot绘制曲线图 毋庸置疑，图像比文字更有力量。 譬如，将特定请求的QPS变化量绘制成曲线，对照CPU、IO、MEMORY曲线，对定位问题非常有帮助。 那么，从数据到图像有两部： 生成数据 绘制图像 awk 统计数据 1.awk 脚本 (calc_query_consum) 这里不方便贴出示例日志。该脚本按分统计 总耗时/访问量/平均耗时，稍作修改，可以改为按 时间+...
shell 画图形（圆,蝴蝶,心……）
很多东西学会了可以不用记录的，记录的都是寂寞罢了
06-22 1万+
程序一：彩色显示文件程序，每个字符的颜色都不一样，随机变化，让你看花眼睛^_^：程序代码：#! /usr/bin/awk#  Write by dbcat#  EMail:deeperbluecat@Gmail.com#  run : awk -f ColorCat.awk YourFileBEGIN{        srand()}{        split($0,Myth,"")    
Python3 解释器
Java_fenxiang的博客
10-05 638
Linux/Unix的系统上，一般默认的 python 版本为 2.x，我们可以将 python3.x 安装在/usr/local/python3目录中。安装完成后，我们可以将路径/usr/local/python3/bin添加到您的 Linux/Unix 操作系统的环境变量中，这样您就可以通过 shell 终端输...
Shell脚本的编写
最新发布
qq_44807736的博客
10-09 302
原生的bash不支持简单的数学运算，但是可以通过expr命令来实现，能完成表达式的求值操作。环境变量：由操作系统或用户设置的特殊环境变量，用于配置shell的行为和影响其执行环境。新建一个文件test.sh，扩展名为sh，扩展名不影响脚本的执行，见名知意就好。变量的类型有：字符串变量、整数变量、数组变量、环境变量、特殊变量。算术运算符、关系运算符、布尔运算符、字符串运算符、文件测试运算符。shell脚本内获取参数的格式为$n 表示第n个参数。关系运算符只支持数字，不支持字符串。注意：字符串的索引从0开始。
（六）Shell 脚本应用（1）：基础与环境变量详解
卓琢
10-03 845
【代码】（六）Shell 脚本应用（1）：基础与环境变量详解。
【笔记】shell基本使用
qq_38966912的博客
10-09 148
命名只能使用英文字母、数字、下划线，不能以数字开头等号前后不能包含空格环境变量一般使用大写单引号内都是普通字符双引号内可以实现转义、且有些字符有特殊含义，如"$"有调用变量的值的含义12#叠加变量a123#再叠加变量a双引号内可以实现转义、且有些字符有特殊含义，如"$"，可以用来调用命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值