linux——sed，awk命令详情

最新推荐文章于 2024-04-17 19:30:00 发布
最新推荐文章于 2024-04-17 19:30:00 发布
阅读量247 收藏 2
点赞数
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/NeaWalke/article/details/120328421
版权

sed awk Linux 文本处理 命令行工具
关键词由CSDN通过智能技术生成

sed的基础操作

命令格式

sed的命令格式： sed [options] 'command' file;
sed的脚本格式： sed [options] -f scriptfile file;

sed选项

-e: 在命令行模式上进行sed动作编辑，为默认选项；当给出多个指令时需要用-e选项，告诉sed将下一个参数解释为指令
-f: 将sed的动作写在文件中，用-f filename 执行文件内动作
-i: 直接修改文件内容
-n: 只打印模式匹配的行
-r: 支持扩展表达式

指定简单的指令

sed [-e] 'instruction' filename #单引号可以换！ ， #等。 根据实际情况使用

三种方式指定多重命令

  1. 用分号分隔指令
[root@node3 ~]# sed 's/tom/TOM/;s/jerry/JERRY/' test
  1. 在每个指令前放置-e
[root@node3 ~]# sed -e 's/tom/TOM/' -e 's/jerry/JERRY/' test
  1. 使用Bourne shell的分行指令功能
[root@node3 ~]# sed '
> s/tom/TOM/
> s/jerry/JERRY/
> ' test

sed命令

s 替换指定字符

[root@node3 ~]# cat test 
one two three
test redhat next
tom jerry jake

123 310 ABC
[root@node3 ~]# sed 's/jake/mike/' test
one two three
test redhat next
tom jerry mike

123 310 ABC

a 在当前行下插入文本

#在文件test行下插入文本
[root@node3 ~]# sed '/test/a\first' test
one two three
test redhat next
first
tom jerry jake

123 310 ABC

# 在文件第二行下插入文本
[root@node3 ~]# sed '2a\first' test
one two three
test redhat next
first
tom jerry jake

123 310 ABC

i 在当前行的上一行插入文本

[root@node3 ~]# sed '2i\second' test
one two three
second
test redhat next
tom jerry jake

123 310 ABC


[root@node3 ~]# sed '/test/i\first' test
one two three
first
test redhat next
tom jerry jake

123 310 ABC

n 下一行
在这里插入图片描述

[root@node3 ~]# cat test 
one two three
test redhat next
tom jerry jake

123 310 ABC
[root@node3 ~]# sed '/one/{n;s/next/time/}' test
one two three
test redhat time
tom jerry jake

123 310 ABC
[root@node3 ~]# cat test 
one two three
test redhat next
tom jerry jake

123 310 ABC

N 将当前读入的行和下一行看成“一行”
在这里插入图片描述

[root@node3 ~]# cat test 
one two three
test redhat next
tom jerry jake

123 310 ABC
[root@node3 ~]# sed '/next/N;s/next\ntom/computer/' test
one two three
test redhat computer jerry jake

123 310 ABC

d 删除

#删除空白行
[root@node3 ~]# cat test 
one two three
test redhat next
tom jerry jake

123 310 ABC
[root@node3 ~]# sed '/^$/d' test
one two three
test redhat next
tom jerry jake
123 310 ABC

#删除第二行
[root@node3 ~]# sed '2d' test
one two three
tom jerry jake

123 310 ABC
[root@node3 ~]#

D 多行删除

[root@node3 ~]# cat test
one two three

test redhat next


tom jerry jake



123 310 ABC

# 多行Delete命令原理：当遇到两个空行，只删除第一个空行。当一个空行后面跟有文本，模式空间可以正常输出
[root@node3 ~]# sed '                    
>/^$/{
>N
>/^\n$/D
>} ' test
one two three

test redhat next

tom jerry jake

123 310 ABC

h 将模式空间的内容拷贝到保持空间，原来模式空间里的内容清除
H 将模式空间的内容拷贝到保持空间\n后
g 将保持空间内容拷贝到模式空间，原来的模式空间里的内容清除
G 将保持空间的内容复制到模式空间\n后

# 将one这一行内容放入保持空间，然后覆盖掉模式空间的test这一行
[root@node3 ~]# sed '/one/h;/test/g' test
one two three
one two three
tom jerry jake
123 310 ABC

# 将one这一行放入到保持空间，然后追加到test行后
[root@node3 ~]# sed '/one/h;/test/G' test
one two three
test redhat next
one two three
tom jerry jake
123 310 ABC

# 将1这一行放入保持空间后删除，追加到模式空间中
[root@node3 ~]# cat test 
11
22
111
222

[root@node3 ~]# sed '/1/{h;d};/2/G' test
22
11
222
111

x 表示交换莫板块中的文本和缓冲区中的文本


[root@node3 ~]# cat test 
1
2
3
4
5
# 匹配2到保持空间然后删除模式空间内容，匹配3到保持空间然后交换保持空间和模式空间的内容
[root@node3 ~]# sed '
/2/{
h
d
}
/3/{
x
}
' test
1
2
4
5

流控制命令

流控制命令两个用于控制脚本的哪一部分以及何时执行的命令。分支（b）和测试（t）命令将脚本中的控制转移到包含特殊标签的行，如果没有指定标签，则将控制转移到脚本的结尾处，分支命令用于无条件转移，测试命令用于有条件转移，他们只有当替换命令改变当前时才会执行

标签是任意不多于7个字符的序列，标签本身占据一行并以冒号开头：

:mylabel

在冒号和标签之间不允许有空格，行结尾处的空格将被认为是标签的一部分。当在分支命令或测试命令中指定标签时，在命令和标签之间允许有空格

b mylabel

分支 b 在脚本中将控制转移到另一行

[root@node3 ~]# cat test 
hello china
hello world
hello china world

#匹配china，继续匹配hello world，当不匹配其中一个时，进入下一个命令
[root@node3 ~]# cat txt 
:top
/china/{
/hello world/b top
s/china/CHINA/
}
[root@node3 ~]# sed -f txt test 
hello CHINA
hello world
hello CHINA world

#匹配hell，继续匹配hell world，当匹配正确时调转回top
[root@node3 ~]# cat txt 
:top
/hello/{
/hello world/b top
s/china/CHINA/
}
[root@node3 ~]# sed -f txt test 
hello CHINA

awk

awk是一个强大的文本分析工具，简单来说awk九十八文件逐行读入，(空格，制表符)为默认分隔符将每行切片，切开的部分再进行各种分析处理

awk命令格式

awk [-F field-separator] 'commands' input-file

[-F 分隔符]是可选的，因为awk使用空格，制表符作为缺省的字段分隔符，因此如果要浏览字段间有空格，制表符的文本，不必指定这个选项，但如果要浏览诸如/etc/passwd文件，此文件各字段以冒号作为分隔符，则必须指明-F选项

内置变量

FS 设置输入字段分隔符，等价于命令行-F选项
NF 浏览记录的字段个数
NR 已读的记录数

实例

# 以:为分隔符，显示第一列和第七列
[root@node3 ~]# awk -F ':' '{print $1,$7}' passwd 
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
mysql /bin/nologin

#打印行号，列数和对应的完整内容
[root@node3 ~]# awk -F ':' '{print NR,NF,$0}' passwd 
1 7 root:x:0:0:root:/root:/bin/bash
2 7 bin:x:1:1:bin:/bin:/sbin/nologin
3 7 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 7 mysql:x:975:973::/home/mysql:/bin/nologin

#指定特定分隔符，查询倒数第二列
[root@node3 ~]# awk -F ":" '{print $(NF-1)}' passwd 
/root
/bin
/sbin
/home/mysql

#显示文本以tab分割
[root@node3 ~]# awk -F ":" '{print $1"\t"$7}' passwd 
root	/bin/bash
bin	    /sbin/nologin
daemon	/sbin/nologin
mysql	/bin/nologin

#测试整数，字符还是空行
[root@node3 ~]# awk '/^$/{print "this is a blank line"};/[0-9]+/{print "this is a number"}' 
1
this is a number

this is a blank line

# 过滤ip
[root@node3 ~]# ip a |grep 'inet' | grep "ens160" | grep -v '127.0.0.1' | awk -F "[ /]+" '{print $3}'
192.168.8.132
NeaWalke
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux文本处理工具——grep、sed、awk用法
qq_60200126的博客
08-13 800
1.字符的过滤grep grep命令是linux下的文本处理工具，这些命令都是用于对一个文件和文本执行重复搜索的工具。我们可以通过grep命令指定特定的搜索条件来搜索文件及其内容以获取有用的信息。 grep时全局搜索，其抓取数据是贪婪模式，即不会漏掉过滤内容，但准确性也会降低 2.grep的基础搜索文本指令 egrep = grep -E grep -e ”root|nologin“ passwd 搜索含有root和nllogin的行 = grep -e root -e nologin passwd （同
31.Linux文本处理三剑客——grep,sed,awk
Pink_Home的博客
09-10 882
注意：action指的是动作，awk擅长文本格式化，且输出格式化后的结果，因此最常用的动作就是print。（1）sed用法：sed [OPTION] {sed - commands} [input-file]·g——global 全局替换，sed替换每行所有匹配到的内容。注意：awk默认以空格为分隔符，且多个空格也识别为一个空格，作为分隔符。表示范围过滤的时候，如果结尾的内容匹配不到，则一直显示到最后一行。注意：在达到想要的结果时，先看看这个命令帮助，别急着使用管道。
Linux命令 —— sed和awk
lucyLee的博客
06-02 1095
1.2 删除匹配行 删除匹配行，末尾使用选项 1.3 基于文件的修改 通过选项基于文件进行修改，如果怕直接修改出问题，可以创建备份文件，是自定义的后缀名 向文件中插入多行，通过实现 1.4 正则匹配 正则匹配，如删除以开头的行 例如，正则匹配，删除多余的空格 其余可以参考：sed命令 1.6 其他小技巧汇总 删除指定字符，如最后1个、开始的3个，使用表示匹配一个任意字符,实现多个操作指令的拼接。更多操作，见博客：使用 sed 命令替换/删除 文本字符的 20 个例子
Linux awk和sed命令详解
Qiuoooooo的博客
12-04 417
http://blog.csdn.net/SeeTheWorld518/article/details/48630271
Linux中awk和sed命令
Star-Technology
05-02 712
Linux中的awk和sed命令的主要应用场景是shell script，在shell script中用于处理字符串，然后得到自己想要的结果sed的常用参数 –-n 静默模式，不再默认显示模式空间中的内容 –-i 直接修改原文件 –-e -e SCRIPT:可以同时执行多个脚本 –-f /PATH/TO/SED_SCRI
linux命令之awk、sed
lm19770429的专栏
04-27 389
awk： sed：
Linux sed命令的使用
09-14
Linux的sed命令是一种强大的文本处理工具，用于对文件或标准输入进行流编辑。它一次处理一行，通过临时缓冲区——模式空间，对每一行进行指定的处理动作，然后输出到屏幕上，除非使用了-i选项来直接修改原文件。sed...
linux学习笔记之常用命令（一）——文件处理命令
01-09
此外，Linux还有其他一些命令，如`find`（查找文件），`grep`（搜索文件内容），`sed`（文本处理），`awk`（数据处理），以及链接命令`ln`（创建软链接或硬链接）等，都是日常工作中不可或缺的工具。 学习和熟练...
Linux文本三剑客——awk、sed、grep
web15085599741的博客
05-14 269
文本三剑客 一、grep——文本过滤工具 二、sed——编辑器 输出符合条件的文本 删除符合条件的文本 替换符合条件的文本 迁移符合条件的文本 三、awk——报告生成器 按行输出文本 按字段输出文本 通过管道、双引号调用Shell命令 扩充 一、grep——文本过滤工具 文本过滤器（模式：pattern）工具，grep,egrep（不支持正则表达式搜索） grep [选项] 条件 目标文件 选项 作用 –color=auto 对匹配到的文本着色显示 -v 显示不被patter
linux下的sed和awk命令详解
CloudXli的博客
10-18 918
awk命令： awk比较倾向于将一行分成数个字段来处理，所以是比较适合处理小型数据处理。 awk ‘条件类型 1{动作 1} 条件类型 2{动作 2} …’ filename 1、例如我要取出我的centos7的mac地址： 使用命令： 2、我要取出登录账号 和 登录ip 并且两者之间使用【tab】分开 3、我们知道/etc/passwd 中的内容是以：来分割字段的，该文
linux命令 awk sed,linux中sed命令和awk命令详解
weixin_29580355的博客
05-25 602
本文主要介绍了浅谈linux中sed命令和awk命令的使用，具有一定借鉴价值,需要的朋友可以参考，希望能帮助到大家。1、sed命令：没有重定向不会真正修改源文件中的内容查询语句①sed -n ‘/sbin/p' passwd表示查询出passwd文件中存在sbin字符的所有行并打印出来，其中两个/表示的是其中的是正则表达式，-n和/p是该命令的参数，需要联合使用②sed -n ‘xp' passw...
Linux之sed与awk
Piwrim的博客
11-25 221
sed 是一个流处理编辑器，它能帮助我们自动处理文件，分析日志文件、修改配置文件等 StreamEditor文本流编辑，sed是一个“非交互式的"面向字符流的编辑器。能同时处理多个文件多行的内容 可以不对原文件改动，把整个文件输出到屏幕 可以把匹配到的内容输出到屏幕上 还可以对原文件改动，但是不会再屏幕上返回结果 sed[-hnV][-e<script>)][-f<script文件>][文本文件] -e<script>或--expression=&l...
Linux进阶--文本处理grep、sed、awk命令
最新发布
Rita_rr的博客
04-17 1103
grep：一种强大的文本搜索工具，它能使用正则表达式匹配模式搜 索文本，并把匹配的行打印出来格式 sed：流编辑器，一般用来对文本进行增删改查 awk：也称 gawk，编程语言，可对文本和数据进行处理
sed命令和awk命令详解
w907645377的博客
02-28 3310
vim和sed、awk之间的区别： vim命令是交互式的，sed和awk是非交互式的。比如vim需要i来插入，需要wq来保存退出 vim命令使文件操作模式，sed和awk是行操作模式。 sed命令： 1.sed作用 sed一般用于对文本内容做替换（不一定非用/分割，任意字符都可以）： 如sed '/usr1/s/usr1/u1/' /etc/passwd 2.sed的模式空间 sed的基本工作方式为： 将文件的每一行读取到内存...
文本处理三剑客之sed和awk
weixin_45680960的博客
04-21 371
文本处理三剑客之sed和awk 文章目录文本处理三剑客之sed和awksed地址定界编辑命令高级命令替换awk内建变量BEGIN和END运算符数组 sed Sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到 最后一行。每当处理一行时，把当前处理的行存储在临时缓冲区中，称为 模式空间（ Pattern Space ） ，接着用 sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下 一行，这样不断重复，直到文件末尾。一次处理一行的设计模式使得
Linux经典常用命令(AWK/SED/CUT/SORT)看完之后轻轻松松驾驭最难命令
weixin_43586713的博客
10-24 584
Linux复杂命令AWKAWK的语法案例讲解SED基本语法案例讲解CUT基本语法案例讲解Sort基本语法案例讲解 Linux里面的命令非常多,有一些命令是比较难以理解的,例如AWK SED等,今天就对大数据经常用到的这几个命令进行详细的了解。 AWK AWK是一种处理文本文件的语言，是一个强大的文本分析工具。他默认是按行进行处理的,我之前有写过一篇AWK的讲解,里面有充足的案例来理解,可以看看:Linux最难命令awk:详解解读 AWK的语法 awk [选项参数] 'script' var=value f
Linux三剑客命令（grep，awk，sed）
热门推荐
孙大迪迪的博客
11-26 1万+
本教程是一些Linux命令中关于grep、cut、printf、sed、awk 的一些基本用法，没有过多的固定格式化语法，而是通过鲜明的对比与例子进行演示，旨在方便大家更好的记忆与理解！ 1、grep正则 匹配日期格式 YYYY-MM-DD [0-9]{4}-[0-9]{2}-[0-9]{2} 匹配IP地址 [0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3} 在...
SED与AWK命令攻略大全
shuwu
10-31 1433
http://www.tuicool.com/articles/zUVnUz 1. 基本概念 Sed是一个“非交互式”的面向字符流的编辑器。 这个面向字符流就像是我去餐厅点了一道菜让厨师做，菜都是字符，厨师做好后直接送到我面前。所以我只要下达命令就好。 Sed的优点是可以在一个地方指定所有的编辑指令，然后通过文件传递一次来执行他们。但是它在每次多于一行的处理能力方面有限制。 Awk的
Linux运维必备：awk、sed、grep三剑客命令详解
"《Linux 三剑客命令》是一本由老男孩教育的创始人和国内运维领域专家编著的书籍，详细介绍了Linux系统中的awk、sed和grep三个重要命令的使用方法和实战案例，旨在帮助读者提升Linux运维技能。书中包含每个命令的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值