LINUX的awk和sed的常用用法

最新推荐文章于 2024-05-17 02:07:16 发布
最新推荐文章于 2024-05-17 02:07:16 发布
阅读量140 收藏
点赞数
原文链接：http://www.cnblogs.com/caibird2005/archive/2009/04/27/1444647.html
版权

awk的用法

a w k语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息

 

调用awk

有三种方式调用a w k，

第一种是命令行方式，如：

     awk –F : ‘commands’ input-files

    第二种方法是将所有a w k命令插入一个文件，并使a w k程序可执行，然后用a w k命令作为脚本的首行，以便通过键入脚本名称来调用它。

第三种方式是将所有的a w k命令插入一个单独文件，然后调用：

awk –f awk-script-file input-files

 

awk脚本

模式和动作

在命令中调用a w k时，a w k脚本由各种操作和模式组成。模式包括两个特殊字段B E G I N和E N D。

使用B E G I N语句设置计数和打印头。B E G I N语句使用在任何文本浏览动作之前。E N D语句用来在a w k完成文本浏览动作后打印输出文本总数和结尾状态标志。

实际动作在大括号{ }内指明。

 

域和记录

$ 0，意即所有域

 

• 确保整个a w k命令用单引号括起来。

• 确保命令内所有引号成对出现。

• 确保用花括号括起动作语句，用圆括号括起条件语句。

 

awk中的正则表达式

+ 使用+匹配一个或多个字符。

？ 匹配模式出现频率。例如使用/X Y?Z/匹配X Y Z或Y Z。

 

awk '{if($4~/Brown/) print $0}' tab2

等效于

awk '$0 ~ /Brown/' tab2

 

内置变量

awk '{print NF,NR,$0}END{print FILENAME}' tab1

NF 域的总数

NR已经读取的记录数

FILENAME

 

awk '{if(NR>0 && $2~/JLNQ/) print $0}END{print FILENAME}' tab1

 

显示文件名

echo "/app/oracle/ora_dmp/lisx/tab1" | awk -F/ '{print $NF}'

 

定义域名

awk '{owner=$2;number=$3;if(owner~/SYSADMIN/ && number!=12101)print $0}END{print FILENAME}' tab1

 

awk 'BEGIN{NUM1=7}{if($1<=NUM1) print $0}END{print FILENAME}' tab1

 

当在a w k中修改任何域时，重要的一点是要记住实际输入文件是不可修改的，修改的只是保存在缓存里的a w k复本

awk 'BEGIN{NUM1=7}{if($1<=NUM1) print $1+2,$2,$3+100}END{print FILENAME}' tab1

 

只打印修改部分：用{}

awk 'BEGIN{NUM1=7}{if($1<=NUM1){$2="ORACLE"; print $0}}END{print "filename:"FILENAME}' tab1

 

 可以创建新的域

awk 'BEGIN{NUM1=7;print "COL1"tCOL2"tCOL3"tCOL4"}{if($1<=NUM1){$4=$1*$3;$2="ORACLE"; print $0}}END{print "filename:"FILENAME}' tab1

 

打印总数：

awk 'BEGIN{NUM1=7;print "COL1"tCOL2"tCOL3"tCOL4"}{if($1<=NUM1){tot+=$3;$4=$1*$3;$2="ORACLE"; print $0}}END{print "filename:"FILENAME "total col3:" tot}' tab1

 

使用此模式打印文件名及其长度，然后将各长度相加放入变量t o t中。

ls -l | awk '/^[^d]/ {print$9""t"$5} {tot+=$5}END{print "total KB:" tot}'

 

内置字符串函数

gsub 字符要用引号，数字不用

awk 'gsub(/12101/,"hello") {print $0} END{print FILENAME}' tab1

awk 'gsub(/12101/,3333) {print $0} END{print FILENAME}' tab1

 

index

awk '{print index($2,"D")""t";print $0}' tab1

awk '{print index($2,"D")""t" $0}' tab1

 

length

awk '{print length($2)""t" $0}' tab1

 

ma

awk '{print match($2,"M")""t" $0}' tab1

 

split

awk '{print split($2,new_array,"_")""t" $0}' tab1

 

sub 替换成功返回1,失败返回0

awk '{print sub(/SYS/,"oracle",$2)""t" $0}' tab1

 

substr

awk '{print substr($2,1,3)""t" $0}' tab1

 

从s h e l l中向a w k传入字符串

echo "Stand-by" | awk '{print length($0)""t"$0}'

8                                 Stand-by

 

file1="tab1"

cat $file1 | awk '{print sub(/ADMIN/,"sss",$2)""t"$0}'

 

字符串屏蔽序列

" b 退格键      " t t a b键

" f 走纸换页    " d d d 八进制值

" n 新行         " c 任意其他特殊字符，例如" "为反斜线符号

" r 回车键

 

awk printf修饰符

- 左对齐

Wi d t h 域的步长，用0表示0步长

. p r e c 最大字符串长度，或小数点右边的位数

 

如果用格式修饰输出，要指明具体的域，程序不会自动去分辨

awk '{printf "%-2d %-10s %d"n", $1,$2,$3}' tab1

输出结果

9 SYSADMIN   12101

9 SYSADMIN   12101

14 SYSADMIN   121010000012002

9 SYSADMIN   12101

2 JLNQ       12101

2 JLNQ       12101

7 SYSADMIN   12101

7 SYSADMIN   12101

6 ac_ds_e_rr_mr 13333

 

向一行a w k命令传值

awk 'BEGIN{SYS="SYSADMIN"}{if($2==SYS) printf "%-2d %-10s %d"n", $1,$2,$3}' tab1

在动作后面传入

awk '{if($2==SYS) printf "%-2d %-10s %d"n", $1,$2,$3}' SYS="SYSADMIN" tab1

 

awk脚本文件

 

 

SED用法

sed怎样读取数据

s e d从文件的一个文本行或从标准输入的几种格式中读取数据，将之拷贝到一个编辑缓冲区，然后读命令行或脚本的第一条命令，并使用这些命令查找模式或定位行号编辑它。重复此过程直到命令结束。

 

调用s e d有三种方式

使用s e d命令行格式为：

sed [选项]  s e d命令   输入文件。

记住在命令行使用s e d命令时，实际命令要加单引号。s e d也允许加双引号。

使用s e d脚本文件，格式为：

sed [选项] -f    sed脚本文件   输入文件

要使用第一行具有s e d命令解释器的s e d脚本文件，其格式为：

s e d脚本文件 [选项]   输入文件

使用s e d在文件中定位文本的方式

x             x为一行号，如1

x , y         表示行号范围从x到y，如2，5表示从第2行到第5行

/ p a t t e r n / 查询包含模式的行。例如/ d i s k /或/[a-z]/

/ p a t t e r n / p a t t e r n / 查询包含两个模式的行。例如/ d i s k / d i s k s /

p a t t e r n / , x 在给定行号上查询包含模式的行。如/ r i b b o n / , 3

x , / p a t t e r n / 通过行号和模式查询匹配行。3 , / v d u /

x , y ! 查询不包含指定行号x和y的行。1 , 2 !

 

sed编辑命令

p  打印匹配行

=  显示文件行号

a"  在定位行号后附加新文本信息

i"  在定位行号后插入新文本信息

d  删除定位行

c"  用新文本替换定位文本

s 使用替换模式替换相应模式

r 从另一个文件中读文本

w 写文本到一个文件

q 第一个模式匹配完成后推出或立即推出

l 显示与八进制A S C I I代码等价的控制字符

{ } 在定位行执行的命令组

n 从另一个文件中读文本下一行，并附加在下一行

g 将模式2粘贴到/pattern n/

y 传送字符

n 延续到下一输入行；允许跨行的模式匹配语句

 

sed编程举例

打印单行     sed -n '2p' quo*

打印范围    sed -n '1,3p' quote.txt

打印有此模式的行    sed -n '/disco/'p quote.txt

使用模式和行号进行查询  sed -n '4,/The/'p quote.txt  

sed -n '1,/The/'p quote.txt 会打印所有记录？

用.*代表任意字符   sed -n '/.*ing/'p quote.txt

打印行号 sed -e '/music/'= quote.txt 或sed -e '/music/=' quote.txt

如果只打印行号及匹配行，必须使用两个s e d命令，并使用e选项。

第一个命令打印模式

匹配行，第二个使用=选项打印行号，格式为sed -n -e /pattern/p -e /pattern/=。

sed -n -e '/music/p' -e '/music/'= quote.txt

 

先打印行号，再打印匹配行

sed -n -e '/music/=' -e '/music/'p quote.txt

 

替换

sed 's/The/Wow!/' quote.txt

 

保存到文件

sed '1,2 w filedt' quote.txt

 

读取文件，在第一行后面读取

sed '1 r sedex.txt' quote.txt

 

替换字符系列

如果变量x含有下列字符串：

x="Department+payroll%Building G"

要实现以下转换：

+ to 'of'  

% to located

语句： echo $x | sed 's/"+/ of /g' | sed 's/"%/ located /g'

转载于:https://www.cnblogs.com/caibird2005/archive/2009/04/27/1444647.html

weixin_30335353
关注
awk 和sed的用法介绍
高老板爱吃橙子和橙子的博客
06-27 1991
awk 和sed的用法介绍一、awk的介绍1. 作用及用法要求2. 使用方法（1）使用的命令：（2）举例说明：二、sed的介绍1. 用法介绍及常用命令2. 具体使用 一、awk的介绍 1. 作用及用法要求 如果要格式化报文或从一个大的文本文件中抽取数据包，那么 awk 可以完成这些任务。 awk 对文本操作时是由要求的，它要求文本的内容格式必须是有明确的行和列的，一种格式化的文本。eg： 2. 使用方法 （1）使用的命令： awk [-F field-separator] 'commands' inp
浅谈linux中sed命令和awk命令的使用
09-15
在Linux系统中，`sed`（流编辑器）和`awk`是两个强大的文本处理工具，常用于数据的检索、转换和报告生成。这两个命令在处理日志文件、配置文件等大量文本数据时非常有用。 1. **sed命令**： - **查询语句**：`sed`...
Linux 文本常用工具
kairui_guxiaobai的博客
09-08 350
01 find 文件查找 1 查找txt和pdf文件 find . ( -name “.txt" -o -name ".pdf” ) -print 2 正则方式查找.txt和pdf find . -regex “.(.txt|.pdf)$" -iregex：忽略大小写的正则 3 否定参数 查找所有非txt文本 find . ! -name ".txt” -print 4 指定搜索深度 打印出当前目录的文件（深度为1） find . -maxdepth 1 -type f 5 定制搜索 按类型搜索： find
awk sed 常用用法
qq_37450814的博客
03-29 241
打印指定行 awk打印第二行 awk 'NR==2 {print $0}' zimu sed打印第二行 sed -n '2p' zimu 打印第3行到第10行 sed-n'3,10p'1.txt awk'NR==3,NR==10'1.txt awk指定分隔符打印指定列 awk取出/etc/passwd第一列数据也就是取出用户名。 awk-F:'{print$1}'/etc/passwd sed批量替换指定字符串 sed -i 's/old_string/new_...
awk与sed
huaweitman的专栏
04-24 907
http://blog.jobbole.com/109088/ http://blog.jobbole.com/109089/
awk和sed
05-24 261
awk 替换列(删除) 1 如果11列是0，那么替换为空；如果12列是0，那么替换为空 2 不要用>，要用>> awk 'BEGIN{FS=OFS=","}{if ($11==0) $11=""}{if ($12==0) $12=""}1' important_tg_list.csv >> important_tg_list1.csv 统计列数 ...
Linux中 sed 和 awk的用法详解
09-15
### Linux中 sed 和 awk 的用法详解 #### sed 命令详解 ##### 1. 概述 `sed` 是一个流编辑器，用于过滤和转换文本，它支持多种文本转换操作，如替换、删除、插入等。`sed` 以行为单位处理数据，并且可以通过管道与...
linux系统，awk，grep，sed
08-13
### Linux系统中的查询三剑客：grep、awk、sed 使用详解 #### grep 命令详解 `grep` 是一个非常强大的文本搜索工具，它可以在文本中查找指定的字符串，并且能够逐行处理文本。这使得 `grep` 成为了文本处理和数据...
awk 以及 sed 的一下常用方法
sinat_29830917的博客
10-12 393
前段时间看了慕课网上关于awk 和 sed 的一些用法，以及自己实际中用到的做一个简单的总结记录，方便以后使用到的时候查阅！ 1、首先是正则表达式 边界字符： 1）首字符：^ 2）尾字符：$ 例子：筛选出以a字母后面跟着3个以上数字，a字母开头，b字母结尾的行 grep '^a[0-9]\{3,\}b$' file.txt  元字符： 1）单词分隔：\b 2）任何非字符类
Sed与awk第二版(高清版).pdf
03-08
Sed与awk第二版(高清版).pdf
sed 和 awk
独孤一郎
03-27 476
sed 1，sed [-nefri] ‘command’ 输入文本 2，常用选项         -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。         -e∶直接在指令列模式上进行 sed 的动作编辑；        
Python之路,Day2 - Python基础2
weixin_48318210的博客
09-28 234
本节内容 列表、元组操作 字符串操作 字典操作 集合操作 文件操作 字符编码与转码 列表、元组操作 列表是我们最以后最常用的数据类型之一，通过列表可以对数据实现最方便的存储、修改等操作 定义列表 1 names = [‘Alex’,“Tenglan”,‘Eric’] 通过下标访问列表中的元素，下标从0开始计数 1 2 3 4 5 6 7 8 names[0] ‘Alex’ names[2] ‘Eric’ names[-1] ‘Eric’ names[-2] #还可以倒着
sed和awk常用方法
Abel's Blog
10-18 597
sed和awk是比较基础的类Unix系统中批量处理文本的好东西。sed负责做行的裁剪，awk负责做列编辑。这里将说一点这方面的知识。
sed和awk
zimu_2012的专栏
04-30 798
sed和awk的工作模式，对输入行的改动不会影响真正的输入文件 sed，流编辑器 指定简单的命令 sed [-e] 'instruction' file 用 '单引号' 是个好习惯,可以阻止shell解释编辑指令中的特殊字符或空格 1不需要单引号也可，2必须有单引号，有空格 1. sed ‘s/MA/Massachusetts/' file 2. sed ‘s/MA
awk和sed命令
b7327230073的博客
09-09 285
awk awk是一个强大的编辑工具，可以在无交互的情况下实现相当复杂的文本操作 awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息 awk处理过程:依次对每一行进行处理，然后输出 awk命令形式: awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END{}’ fil...
sed和awk命令
最新发布
2401_83784774的博客
05-17 801
读取：读取文件每一行的数据并依次加入缓存当中（默认的从第一行开始读取）执行：使用定义的增删查改命令处理缓存中的数据显示：将处理过后的命令输出显示到屏幕上 sed -e '操作命令' 目标文件 sed -f 脚本文件 目标文件 sed -i 注：sed 多条操作命令有两种表现方式根据行号区间在该行号区间下面插入整个文件内容将n到m行内容复制粘贴到末行将n到m行内容剪切粘贴到末行
awk展示和sed说明
清晨@暖阳
07-30 297
awk展示和sed说明一、awk举例1、提取当前主机IP地址 一、awk举例 1、提取当前主机IP地址 ifconfig ens32 | grep 'inet' | awk -F " " '{print $2}' | awk '{print $1}'
Linux三剑客：AWK, SED, Grep详解与高效应用
Linux三剑客，即awk、sed和grep，是Unix和Linux环境中三个强大的文本处理工具，对于提升Linux系统的文本分析和数据处理能力具有关键作用。这些工具在初学者和高级用户中都十分实用，无论是在数据筛选、格式转换还是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值