处理海量数据之awk命令

最新推荐文章于 2024-04-11 00:25:54 发布
最新推荐文章于 2024-04-11 00:25:54 发布
阅读量3.9k 收藏 7
点赞数 2
分类专栏： 处理海量数据的方法 文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Meimei_X/article/details/120077885
版权

介绍awk命令的基本使用

awk的简介：一个非常强大的数据处理命令，支持条件判断，数组，循环等功能，与grep,sed一同被称为三剑客

awk的应用场景：通常对数据进行列的提取

语法：
awk ‘条件一{执行动作}条件二{执行动作}……’ 文件名
或者
awk[选项]‘条件一{执行动作}条件二{执行动作}……’ 文件名

特殊要点说明
printf ：格式化输出，不会自动换行
print:打印出内容，默认会自动换行
\t ：制表符
\n：换行符

awk的一些特殊要点与举例说明

NR ：行号
$1:代表第一列
$2:代表第二列
$NF :代表最后一列
-F ：指定分隔符
BEGIN：在读取所有行内容前就开始执行，一般用来初始化操作
END：结束的时候执行

eg:使用awk命令打印第一行

在这里插入图片描述

[root@xjm local]# cat /etc/passwd | awk 'BEGIN {FS=":"} {print $1}'
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
sshd
postfix
xjm
haha

eg :使用awk命令打印出第

最低0.47元/天 解锁文章
Meimei_X
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
awk linux 命令,[命令] Linux 命令 awk（打印文本的列）
weixin_39602737的博客
04-28 3369
内容目录：内容一：awk 格式内容二：awk 的 -F 选项内容三：awk 的常用内置变量内容四： awk 的使用案例4.1 案例一：awk 基础打印4.2 案例二：awk 替换打印4.3 案例三：awk 变量4.4 案例四：awk 自定义分割列符号4.5 案例五：awk 打印常量4.6 案例六：awk 使用正则表达式匹配4.7 案例七awk 使用比较运算符匹配4.8 案例八awk 计算4.9 案...
linux文本处理三剑客之 awk 命令(二）
01-20
文章目录表达式统计input文件中的空白行平均值的计算系统变量格式化输出awk的ascii字符的转换awk的字符型字符的转换printf 修饰符的栗子内置字符串函数举个例子 表达式 统计input文件中的空白行 平均值的计算 ...
三剑客awk命令
qq_44792624的博客
08-09 1205
awk一级目录二级目录三级目录 一级目录 二级目录 三级目录
shell awk 打印第2到最后一列
coraline1991的专栏
09-13 1万+
shell awk 打印第2-NF列 结论：awk '{$1="";print $0 }'和awk '{for(i=2;i<=NF;i=i+1)printf " "$i;print ""}'可行。 看效果。 准备一个文件 1 11 22 33 44 aa bb cc dd ee AA BB CC DD EE FF $ awk '{$1="";print $0 }' 1 22 33 44 bb cc dd ee BB CC DD EE FF $ awk '{for(i=2;i<=NF;i
awk 打印 每一列的内容
最新发布
mixboot
04-11 201
awk 打印 每一列的内容
shell编程之awk
FateZRK的博客
05-18 3279
目录 一、awk 1.概述 2.来源 3.工作原理 与sed命令区别 4.命令格式 5.awk内置变量 二、awk常见用法 1.简单应用 2.进阶用法 3.打印文本内容（行列） 4.日常应用 三、BEGIN、END模块 awk运算 ​编辑 模糊匹配 数值与字符串比较 逻辑运算&&和|| 一、awk 1.概述 AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。 AWK是专门为文本处理设计的编程语言，也是行处理软件，通常用于...
linux awk命令（擅长输出列）
热门推荐
韩帅平的博客
05-05 1万+
简介awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。awk其名称得自于它的创始人 Alfred Aho 、Pete...
awk打印列数
zengxingyuluo的博客
11-20 5949
1、打印每一行的列数 awk -F '\t' '{print NF,$0}' test.log
linux之awk命令的用法
09-04
`awk`是Linux环境中强大的文本处理工具，尤其适用于处理结构化的数据文件。它通过分析文本文件中的每一行，根据指定的规则对数据进行操作。在`awk`中，一行被视为一个记录，记录由字段组成，字段之间默认由空格或...
awk命令 文本和数据进行处理的编程语言
01-20
awk命令是一种编程语言，用于在linux/unix下对文本和数据进行处理。 而且它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。 语法格式：awk [参数] [文件] 常用参数： -F ...
详解Linux中的awk命令
09-14
awk提供了一些内建变量，可以帮助我们方便地获取和处理数据： - `FILENAME`：当前处理的文件名。 - `ARGC`：命令行参数的总数。 - `FNR`：当前文件的行号。 - `FS`：字段分隔符，默认为空格或制表符。 - `NF`：当...
awk用法：取列表最后一列
m0_72345017的博客
09-26 957
可以使用for循环取文件列表 for i in `ls`;-rw-r--r-- 1 root root 37763 6月 14 12:00 size.txt。-rw-r--r-- 1 root root 84 6月 15 15:07 dir.txt。-rw-r--r-- 1 root root 86 6月 14 12:00 for.sh。-rw-r--r-- 1 root root 1614 6月 14 12:07 M.txt。
Linux中awk命令的使用
qq_51688785的博客
02-18 597
pattern：用于匹配输入的条件。：与模式匹配时执行的操作。input_file：要处理的输入文件。自定义输出两列结果自定义输出三列结果%s：用来打印字符串类型的字段。%d：用来打印整数类型的字段。在这个例子中，假设1.txt包含三列，每列由空格分隔。$1表示第一列，$2表示第二列，$3表示第三列。printf语句中的格式控制字符串中增加了一个%s来打印第三列的内容。# 将三列都自定义命名输出。
输出第5行的内容
weixin_43636782的博客
06-08 335
题目描述： 写一个 bash脚本以输出一个文本文件 nowcoder.txt 中第5行的内容 示例: 假设 nowcoder.txt 内容如下： welcome to nowcoder this is shell code 你的脚本应当输出： is 题解： 先使用head -n 5命令筛选出前5行的内容 使用管道命令，将前5行的内容作为输入，使用tail -n 1命令找到第5行的内容 #!/bin/bash head -n 5 nowcoder.txt | tail -n 1 ...
linux命令 awk_如何在Linux上使用awk命令
culintai3473的博客
09-19 604
linux命令 awkFatmawati Achmad Zaenuri/ShutterstockFatmawati Achmad Zaenuri / Shutterstock On Linux,awk is a command-line text manipulation dynamo, as well as a powerful scripting language. Here’s an in...
awk高级用法
燕雀踏青云
03-13 1016
awk 高级用法
linux命令之awk、sed
lm19770429的专栏
04-27 371
awk： sed：
awk常用方法
识途老码
01-18 2117
awk常用方法输出文件内容 awk常用的就是处理行和列. 输出文件内容 # 打印所有内容 awk '(print) filename'
使用awk命令获取命令或文本的行、列
山谷来客
06-25 5161
1、打印命令的第1列： ll | awk '{print $1}'；    打印文档的第1列： awk '{print $1}' filename 2、打印命令的前2列： ll | awk '{print $1, $2}'    打印文档的前2列： awk '{print $1,$2}' filename 3、打印完命令第一列，然后打印第2列：ll | awk '{print $1 $2}
awk命令
05-29
awk是一种文本处理工具，在Unix和Linux系统中非常常用。它可以读取文本文件、处理数据并生成报告。awk的基本操作是: 读取文件中的每一行，将每行分割成字段，然后进行处理，最后输出结果。 以下是一些常用的awk命令： 1. 输出指定列 ``` awk '{print $1, $3}' file.txt ``` 这个命令会输出文件 file.txt 的第一列和第三列。 2. 使用分隔符 ``` awk -F":" '{print $1}' /etc/passwd ``` 这个命令会输出文件 /etc/passwd 的第一列，其中分隔符为“:”。 3. 根据条件筛选输出 ``` awk '$3 > 10 {print $1}' file.txt ``` 这个命令会输出文件 file.txt 的第一列，但只有在第三列大于10时才会输出。 4. 统计行数 ``` awk 'END{print NR}' file.txt ``` 这个命令会输出文件 file.txt 的行数。 5. 统计某一列的总和 ``` awk '{sum += $1} END{print sum}' file.txt ``` 这个命令会输出文件 file.txt 的第一列的总和。 6. 使用awk进行替换 ``` echo "hello world" | awk '{gsub("hello", "hi"); print}' ``` 这个命令会将字符串中的“hello”替换为“hi”。 这些是一些常用的awk命令，还有很多其他的操作和用法。如果你想深入了解awk，可以查看相关的文档和教程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值