SED+AWK

于 2023-05-30 15:09:28 发布
阅读量134 收藏
点赞数
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43708841/article/details/130948938
版权

SED
查找
sed -n '3p' /etc/yum.repos.d/test.repo.bak  查看文件第三行内容
sed -n '3,5p' /etc/yum.repos.d/test.repo.bak    查看文件第3-5行内容
sed -n '2p;5p' /etc/yum.repos.d/test.repo.bak    查看文件第2,5行内容
sed -n '1~2p' /etc/yum.repos.d/test.repo    查看文件隔一行的内容   1   3    5   7    9。。。。。。

插入字符
sed -i '3i zpq ' test.repo.new   第三行之前插入   字符行  zpq
sed -i '3a zpq ' test.repo.new  第三行之后插入   字符行  zpq

删除
sed -ri '3d' test.repo.new    删除第三行的内容
sed -ri.$(date +%F) '/base|enabled/d' test.repo.new    
删除包含base，enabled的行       -r   -i要放在最后     /d删除
.$(date +%F)      备份文件名称后缀
sed -ri '/^$/d' test.repo.new  删除空行


不加i则不执行，sed   -i.BAK    .BAK为备份参数，可谓其他值

替换
[root@localhost ~]# sed -i 's#text#test#g' test.repo
将text字符替换成test
整行替换
sed -i '1c [baseOS]'  test.repo   将第一行整行替换成[baseOS]
sed -i '4s#1#0#g' test.repo  将第4行中的1替换成0 
不加g只替换每行识别的第一个字符

touch  zpq{1..9}.txt
ls | xargs -n1 | sed -r 's#(.*)txt#mv \1txt \1md #g' |bash
替换文件后缀名txt转md，原理：现将文件名称输出，查找后缀为TXT的文件，替换成bash命令mv并执行
echo zpq | sed -r 's#(.*)#<\1>#g'

将zpq字符添加<>输出


注意：-n   和  -i 不要一起使用，每次修改建议备份
-r 扩展正则表达式
!p  !d  取反

for ((i=1;i<=11;i++));do echo {1..4} >> zpq2.txt; done
sed '/^$/d' zpq2.txt|sed  's# ##g' |sed '=' | xargs -n2
查看行数，先去除空行，将空格替换并输出行号   2列一组（包含序号）


AWK
ls -l `whick awk`  显示awk文件内容
命令结果引用：
echo  laoma > 1.txt
touch  `cat 1.txt`

[root@localhost zpq]# ll
total 4
-rw-r--r-- 1 root root 6 Nov 29 17:51 1.txt
-rw-r--r-- 1 root root 0 Nov 29 17:51 laoma


示例：
cp /etc/passwd . 复制passwd文件
vim passwd
:%s/:/ /g    将：替换成看空格符号
:wq!

cp passwd passwd.bak
column -t passwd.bak > passwd  纵向排列文件内容，并追加到passwd内容中
awk '/mail/ {print $3}' passwd   显示mail用户的UID
awk '/x/ {print $5}' passwd   输出passwd中第五项的内容

[root@localhost ~]# awk '/root/ {print }' passwd 显示整行的内容
[root@localhost ~]# awk '/root/ {print $1,$3,$5,$7}' passwd   使用，进行分隔多个参数
root 0 root /bin/bash
[root@localhost ~]# awk '/root/ {print $1,$3" && "$5,$7}' passwd    也可使用""进行分隔
root 0 && root /bin/bash
[root@localhost ~]# awk 'NR==2 {print $1,$3" && "$5,$7}' passwd    查看第二行相关列的参数
bin 1 && bin /sbin/nologin

[root@localhost ~]# awk '/spool/ {print $1,$3" && "$6,$7}' passwd    显示包含spool的参数
lp 4 && /var/spool/lpd /sbin/nologin
mail 8 && /var/spool/mail /sbin/nologin
awk -F "[ /]+" '/sbin/ {print $1,$5,$6}' passwd   | column -t  指定空格和/符号作为分隔符，查找匹配的行，输出相关列参数
bin       bin       bin
daemon    daemon    sbin
adm       adm       var
lp        lp        var
sync      sync      sbin
shutdown  shutdown  sbin
halt      halt      sbin
mail      mail      var


[root@localhost ~]# awk '{print $(NF-1)}' passwd    查看文件倒数第二列的信息，注意先进行系列运算，在进行查找$(NF-1)
/root
/bin
/sbin
/var/adm
/var/spool/lpd
/sbin
/sbin
/sbin
/var/spool/mail

查找以0开头进行输出具体列。
[root@localhost ~]# awk '$4~/^0/ {print $1,$3,$5,$7}' passwd  | column -t
root 0 root /bin/bash
sync 5 sync /bin/sync
shutdown 6 shutdown /sbin/shutdown
halt 7 halt /sbin/halt

$4~/^0/    ~表示包含和匹配
取反表示不包含41的行、列的参数
[root@localhost ~]# awk '$4~!/^0/ {print $1,$3,$5,$7}' passwd  | column -t
bin 1 bin /sbin/nologin
mail 8 mail /sbin/nologin
!表示取反

查找以n和h结尾的行的具体列的参数
（1）
[root@localhost ~]# awk '$7~/(n|h)$/ {print $1,$3,$5,$7}' passwd  | column -t
root 0 root /bin/bash
bin 1 bin /sbin/nologin
daemon 2 daemon /sbin/nologin
adm 3 adm /sbin/nologin
lp 4 lp /sbin/nologin
shutdown 6 shutdown /sbin/shutdown
mail 8 mail /sbin/nologin
（2）
[root@localhost ~]# awk '$7~/[nh]$/ {print $1,$3,$5,$7}' passwd | column -t    
root      0  root      /bin/bash
bin       1  bin       /sbin/nologin
daemon    2  daemon    /sbin/nologin
adm       3  adm       /sbin/nologin
lp        4  lp        /sbin/nologin
shutdown  6  shutdown  /sbin/shutdown
mail      8  mail      /sbin/nologin


将passwd中的sbin换成bin并输出
[root@localhost ~]# awk '{gsub (/sbin/,"bin",$6);print $6}' passwd
/root
/bin
/bin
/var/adm
/var/spool/lpd
/bin
/bin
/bin
/var/spool/mail

显示第二行之后的行
[root@localhost ~]# awk 'NR>2 {print}' passwd
daemon               x  2      2      daemon                     /sbin             /sbin/nologin
adm                  x  3      4      adm                        /var/adm          /sbin/nologin
lp                   x  4      7      lp                         /var/spool/lpd    /sbin/nologin
sync                 x  5      0      sync                       /sbin             /bin/sync
shutdown             x  6      0      shutdown                   /sbin             /sbin/shutdown
halt                 x  7      0      halt                       /sbin             /sbin/halt
mail                 x  8      12     mail                       /var/spool/mail   /sbin/nologin


范围模式
，显示2-5行的内容
[root@localhost ~]# awk 'NR==2,NR==5 {print}' passwd 
bin                  x  1      1      bin                        /bin              /sbin/nologin
daemon               x  2      2      daemon                     /sbin             /sbin/nologin
adm                  x  3      4      adm                        /var/adm          /sbin/nologin
lp                   x  4      7      lp                         /var/spool/lpd    /sbin/nologin
；显示第2行和第5行的内容
[root@localhost ~]# awk 'NR==2;NR==5 {print}' passwd 
bin                  x  1      1      bin                        /bin              /sbin/nologin
lp                   x  4      7      lp                         /var/spool/lpd    /sbin/nologin

[root@localhost ~]# awk 'gsub(/root/,"bin",$0)' passwd      $0表示所有列
bin                 x  0      0      bin                       /bin             /bin/bash

[root@localhost ~]# awk 'gsub(/(sbin|bin)/,"ABCD",$0)' passwd      将多个字符转换成ABCD
root                 x  0      0      root                       /root             /ABCD/bash
ABCD                  x  1      1      ABCD                        /ABCD              /ABCD/nologin
daemon               x  2      2      daemon                     /ABCD             /ABCD/nologin
adm                  x  3      4      adm                        /var/adm          /ABCD/nologin
lp                   x  4      7      lp                         /var/spool/lpd    /ABCD/nologin
sync                 x  5      0      sync                       /ABCD             /ABCD/sync
shutdown             x  6      0      shutdown                   /ABCD             /ABCD/shutdown
halt                 x  7      0      halt                       /ABCD             /ABCD/halt
mail                 x  8      12     mail                       /var/spool/mail   /ABCD/nologin

将/etc/passwd中的：更改为空格符号 并输出    \:进行转义
[root@localhost ~]# awk '{gsub(/\:/," ",$1);print $1}' /etc/passwd

NR==行信息 （第几行）
$NF== number filed (字段)       ---列信息 （默认最后一列） 


在没有使用-F指定分隔符信息时，默认awk用空格进行分割列，并且多个空格信息默认看成一个整体


特殊模式：
BEGIN；在文件处理之前，做出相应操作
END；在文件处理之后，做出相应操作
FS指定分隔符信息


[root@localhost ~]# awk 'BEGIN{print "oldboy"}NR==2;NR==5 {print} END{print"youngboy"}' passwd 
oldboy
bin                  x  1      1      bin                        /bin              /sbin/nologin
lp                   x  4      7      lp                         /var/spool/lpd    /sbin/nologin
youngboy
 
[root@localhost ~]# awk 'BEGIN {print 5+4}' 
9
[root@localhost ~]# awk 'BEGIN {print 5*4}' 
20


print $i没有值输出  print i 有值输出。print "i"  直接输出i字符，print 1234 直接输出字符串
[root@localhost ~]# awk '/^$/{i=i+1;print $i}' passwd

[root@localhost ~]# awk '/^$/{i=i+1;print i}' passwd
1
2
3
[root@localhost ~]# awk '/^$/{i=i+1;print "i"}' passwd    
i
i
i
[root@localhost ~]# awk '/^$/{i=i+1;print 1234}' passwd
1234
1234
1234

说明： 在AWK中调取变量信息，可以直接调取，不需要加$符号，加入$符号表示取列的信息

显示第三个/符号之前的列内容
[root@localhost ~]# awk -F "[/]+" '{print $3}' passwd     OR
[root@localhost ~]# awk 'BEGIN{FS="/"};{print $1}' passwd   效果一致
bin
sbin
sbin
adm          
spool
bin
sbin
sbin
spool

以下三者等价
[root@localhost ~]# awk 'BEGIN{FS="[/]+"};{print $1}' passwd
root                 x  0      0      root                       
bin                  x  1      1      bin                        
daemon               x  2      2      daemon                     
adm                  x  3      4      adm                        
lp                   x  4      7      lp                         
sync                 x  5      0      sync                       
shutdown             x  6      0      shutdown                   
halt                 x  7      0      halt                       
mail                 x  8      12     mail

[root@localhost ~]# awk -F "[ /]+" '{print $1}' passwd
root                 x  0      0      root                       
bin                  x  1      1      bin                        
daemon               x  2      2      daemon                     
adm                  x  3      4      adm                        
lp                   x  4      7      lp                         
sync                 x  5      0      sync                       
shutdown             x  6      0      shutdown                   
halt                 x  7      0      halt                       
mail                 x  8      12     mail

[root@localhost ~]# awk -vFS="/" '{print $1}' passwd
root                 x  0      0      root                       
bin                  x  1      1      bin                        
daemon               x  2      2      daemon                     
adm                  x  3      4      adm                        
lp                   x  4      7      lp                         
sync                 x  5      0      sync                       
shutdown             x  6      0      shutdown                   
halt                 x  7      0      halt                       
mail                 x  8      12     mail

赋予zpq变量，然后在打印出来
[root@localhost ~]# awk -vzpq=123 'BEGIN{print zpq}'
123

匹配任意内容和空行则加1，然后输出
[root@localhost ~]# awk '/.|^$/{i++} END{print i}' passwd
12

公式求和
[root@localhost ~]# seq 10 | awk '{i=i+$1} {print i}'
1
3
6
10
15
21
28
36
45
55
[root@localhost ~]# seq 0 5 100     0-100之间5的倍数


数组的组成部分：
zpq[01]=0101
名称[元素名称]=元素信息
zpq[02]=0202
zpq[03]=0303


定义数组，输出数组
[root@localhost ~]# awk 'BEGIN{zpq[01]="0101";print zpq[01]}'
0101
[root@localhost ~]# awk 'BEGIN{zpq[01]="123";zpq[02]="234";print zpq[01],zpq[02]}'
123 234
 

qq_43708841
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sed和awk使用实例
01-22
sed和awk使用的几个经典实例，都是比较典型的，可能经常会用到
Sed & Awk, 2nd edition
02-27
sed 和 awk 命令的详细使用方法和说明，英文版，高清，带目录。
shell基础+sed+awk的使用
03-23
学习shell时做的笔记，包含sed,awk，sort，uniq的使用
sed-awk正则表达式
09-09
sed_awk正则表达式
sed and awk 101 hacks.pdf
05-13
免积分下载。
linux中awk和sed可以嵌套吗,浅谈linux中sed命令和awk命令的使用
weixin_39872334的博客
05-25 1128
本文主要研究的是linux中sed命令和awk命令的使用的相关内容，具体如下。1、sed命令：没有重定向不会真正修改源文件中的内容查询语句①sed -n ‘/sbin/p" passwd表示查询出passwd文件中存在sbin字符的所有行并打印出来，其中两个/表示的是其中的是正则表达式，-n和/p是该命令的参数，需要联合使用②sed -n ‘xp" passwdx是数字，表示打印出passwd文件...
AWK命令和SED命令
weixin_34128839的博客
05-25 367
加班的日子也要抓紧时间学习哇
Linux 中 awk 与 sed 操作
一些笔记
11-02 769
4、awk之文本操作运算 awk是一种操作数据流的行和列的工具，也是一种编程语言。awk有很多内建的功能，比如数组、函数等，这和C语言有相同之处。 sudo apt-get install gawk # awk 'BEGIN{print "start"} pattern{print "do something"} END{print "end"}' #BEGIN 变量初始化 #pattern 命令执行 #END 数据流结束后的打印输出等 #三块均可选 1.awk的工作原理： (1)
shell编程五（awk和sed命令）
程序员的规则
01-28 570
awk awk适用于有一定行和列的数据，并且每一行的字符/数据格式必须一致 例： a.b.c z.j.h x.f.y 字符中间的点是分隔符，每一竖列叫做一个域，分别用$0,$1,$2…$9来表示 还是之前那个例子： 系统中也有类似的例子，例如etc底下的passwd 通过awk,我们可以选择性输出所需要的域 例： 也可以通过if语句判断精准输出 例： 注意：在选择性输出时，并不是一次性就直接输出一整个域，而是先把一整行取出来，将不需要的域值取出，保留需要输出的域值，对每一行重复此操作 即： awk命
号称三剑客之首的awk，开始秀！
Z景明的博客
03-26 345
原文链接： 号称三剑客之首的awk，开始秀！ 文章目录今日目标一、awk介绍1. awk概述2. awk能干啥?二、awk使用方式1. 命令行模式使用（一） 语法结构（二）常用选项介绍（三） **'**命名部分说明**'**2. 脚本模式使用（一） 脚本编写（二） 脚本执行三、 awk内部相关变量1、常用内置变量举例2、内置变量分隔符举例四、 awk工作原理五、awk使用进阶1. 格式化输出`...
Bash+Sed+Awk(1).pdf
03-30
linux shell脚本学习 Bash+Sed+Awk(1).pdf
sed和awk的简单使用
wujunshinc的专栏
07-25 709
今天要写的东西，比较不容易理解，不过我会通过一些例子，让你有一个清楚的了解的，不用太担心了，嘿嘿！首先给大家说一下我要总结的什么吧，sed命令和awk命令。Ok，来吧。 1.sed 本身也是一个管道命令，可以分析standard input的，而且sed还可以将数据替换、删除、新增、选取特定行等功能。没有破坏性，不会修改源文件内容。 sed 命令的使用格式：（1）sed [options] /
sed和awk的用法
MrGrant.blog
04-28 494
sed和awk用法 Sed sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法 sed命令行格式为： sed [-nefri] ‘command’ 输入文本 常用选项： -n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤...
sed和awk用法
qq_353973854的博客
07-21 176
Sed 转载自：https://www.cnblogs.com/leedaily/p/8329445.html   sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法sed命令行格式为： sed [-nefri] ‘command’ 输入文本   常用选项： ...
awk&sed日常用法记录
climbs的专栏
11-21 479
1.删除只含tab键的行?```shell // -r 正则表达式 sed -r “s/\s+/d” file “`2.替换多个值echo abc | sed 's#\(a\)#\1\133#'3.abc abd 把ab一起的替换成1bc 1bdsed 's/a\(b\)/1\1/g'
sed 和awk结合取ip 地址
weixin_30544657的博客
12-02 309
1、打印文件的第一列(域) ： awk '{print $1}' filename 2、打印文件的前两列(域) ： awk '{print $1,$2}' filename 3、打印完第一列，然后打印第二列 ： awk '{print $1 $2}' filename 4、打印文本文件的总行数 ：...
嵌入式 文件中获取想要字符串初试牛刀sed与awk结合
skdkjxy的专栏
12-11 750
load.log文件内容，我需要的内容是获取下载进度 ： --2013-12-11 15:46:47--  http://www.sina.com/ Resolving www.sina.com (www.sina.com)... 202.108.33.60 Connecting to www.sina.com (www.sina.com)|202.108.33.60|:80...
sed和awk结合使用范例
weixin_34275734的博客
04-11 3163
1，sed过滤后awk打印第4个字段sed -f nameState list | awk -F, ' {print $4}' 转载于:https://blog.51cto.com/2685141/2096966
sed and awk 101 hacks
最新发布
11-01
"sed and awk 101 hacks" 是一本关于使用 sed 和 awk 命令的技巧集合。 sed 是一种流编辑器，用于在文本中进行查找和替换的操作。它使用简单的命令来处理文本，并且非常强大和灵活。这本书提供了许多关于使用 sed ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值