文本处理——sed初步

最新推荐文章于 2022-12-01 23:09:36 发布

烟雨醉梦里

最新推荐文章于 2022-12-01 23:09:36 发布

阅读量580

点赞数

分类专栏： Linux 文本处理

本文链接：https://blog.csdn.net/qq_27754983/article/details/73693065

版权

Linux 同时被 2 个专栏收录

40 篇文章 0 订阅

订阅专栏

文本处理

4 篇文章 0 订阅

订阅专栏

sed是一种流编辑器，它一次处理一行内容。
处理时，把当前处理的行存储在临时缓冲区(pattern space),同时输出到屏幕，接着用sed命令处理缓冲区中的内容，接着读取下一行，这样不断重复，直到文件末尾。

用法：

sed -[options] [操作] inputfile

-n：不输出模式空间内容到屏幕，即不自动打印
-e: 多点编辑
-f：/PATH/SCRIPT_FILE: 从指定文件中读取编辑脚本
-r: 支持使用扩展正则表达式
-i.bak: 原处编辑并且备份源文件（.bak可以改为任意字符）

操作： [地址定界]function

地址定界：最简单的是n1,n2function:从n1匹配到n2的行，然后进行操作比如：10,20[动作行为]

单地址：
       #：指定的行
                /pattern/:被此模式匹配到的行，如果要使用扩展的正则表达式，则要使用-f选项
            地址范围：
       #,#从行到行
                #，+#：比如3,+6代表是从第3行开始增加6行到第9行
                /pat1/,/pat2/:pat1到pat2的行，如果匹配到pat1到pat2，将其加入到缓冲区，并且会继续向下匹配
                #,/pat1/
       ~:步进
                1~2：匹配奇数行。从第一行开始，每隔2行匹配一次
                2~2：匹配偶数行

function：

d: 删除模式空间匹配的行，因为是删除啊，所以 d 后面通常不接任何咚咚；
p: 显示模式空间中的内容
a [\]text：在指定行后面追加文本
支持使用\n实现多行追加
i [\]text：在行前面插入文本
c [\]text：替换行为单行或多行文本
w /path/somefile: 保存模式匹配的行至指定文件，sed '10,90w /root/file' file1将从f1匹配到的行到file
r /path/somefile：读取指定文件的文本至模式空间中
匹配到的行后
=: 为模式空间中的行打印行号
!:模式空间中匹配行取反处理cat
s///：查找替换,支持使用其它分隔符，s@@@，s###
替换标记：
g: 行内全局替换
w /PATH/TO/SOMEFILE：将替换成功的行保存至文件中

数据的搜寻并执行命令

搜索/etc/passwd,找到root对应的行，执行后面花括号中的一组命令，每个命令之间用分号分隔，这里把bash替换为blueshell，再输出这行：
nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'
root:x:0:0:root:/root:/bin/blueshell

如果只替换/etc/passwd的第一个bash关键字为blueshell，就退出
nl /etc/passwd | sed -n '/bash/{s/bash/blueshell/;p;q}'    
root:x:0:0:root:/root:/bin/blueshell
最后的q是退出。

案例：

nl /etc/passwd |sed '2d'只删除第 2 行
sed '/^#\|^[[:space:]]*$/d' f1搜索出来以#号开头或有空白行
sed –n '2p' /etc/passwd    输出第二行
sed –n '1,4p' /etc/passwd从第一行到第四行显示
sed –n '/root/p' /etc/passwd    显示匹配到root的行
sed –n '2,/root/p' /etc/passwd 从2行开始匹配root，并显示
sed -n '/^$/=' file 显示空行行号
sed –n –e '/^$/p' –e '/^$/=' file 多点编辑，我觉得类似grep的-e选项，或者的关系
sed '/root/a\superman' /etc/passwd行后添加字符
sed '/root/i\superman' /etc/passwd 行前
sed '/root/c\superman' /etc/passwd 代替行
sed '/^$/d' file删除空行，不包括空格组成的空行
sed '1,10d' file 
nl /etc/passwd | sed '2,5d'
nl /etc/passwd | sed '2a tea'在第二行后面添加tea
sed 's/test/mytest/g' example 将test替换为mytest
sed –n 's/root/&superman/p' /etc/passwd 单词后，相当于后向引用，替换为rootsuperman
sed –n 's/root/superman&/p' /etc/passwd 单词前
sed -e 's/dog/cat/' -e 's/hi/lo/' pets
sed –i.bak 's/dog/cat/g' pets 编辑前先将pets备份为pets.bak然后进行替换编辑

高级编辑命令：

h：把模式空间中的内容覆盖至保持空间中；
H：把模式空间中的内容追加至保持空间中；
g：把保持空间中的内容覆盖至模式空间中；
G：把保持空间中的内容追加至模式空间中；
x：把模式空间中的内容与保持空间中的内容互换；
n：覆盖读取匹配到的行的下一行至模式空间中；
N：追加读取匹配到的行的下一行至模式空间中；
d: 删除模式空间中的行
D：删除当前模式空间开端至\n的内容（不再传至标准输出），放弃之后的命令，但是对剩余模式空间重新执行sed

示例：

sed  -n  'n;p'  FILE：显示偶数行；
sed  '1!G;h;$!d'  FILE：逆序显示文件的内容；
sed  ’$!d'  FILE：取出最后一行；
sed  '$!N;$!D' FILE：取出文件后两行；
sed '/^$/d;G' FILE：删除原有的所有空白行，而后为所有的非空白行后添加一个空白行；
sed  'n;d'  FILE：显示奇数行；
sed 'G' FILE：在原有的每行后方添加一个空白行；

作业：

1.删除centos7系统/etc/grub2.cfg文件中所有以空白开头的行行首的空白字符
        sed 's/^[[:space:]]*//gp' /etc/grub2.cfg
2.删除/etc/fstab文件中所有以#开头，后面至少跟一个空白字符的行的行首的#和空白字符
        sed 's/^#[[:space:]]\+//g' /etc/fstab
3、在centos6系统/root/install.log每一行行首增加#号
        sed 's/^/#/' /root/install.log
4、在/etc/fstab文件中不以#开头的行的行首增加#号
        sed  -n '/^#/!{s/^/#/p}' /root/f1
        sed  's/^[^#]\|^$/#&/' /root/f1
5、处理/etc/fstab路径,使用sed命令取出其目录名和基名
        echo "/etc/sysconfig/network-scripts" |sed -r 's@(^/.*/)([^/]+/?)@\2@'
        echo "/etc/sysconfig/network-scripts" |sed -r 's@(^/.*/)([^/]+/?)@\1@'
6、利用sed 取出ifconfig命令中本机的IPv4地址
        ifconfig eth0|sed  -n -e '2s/^.*r://' -e '2s/ .*//p'
7、统计centos安装光盘中Package目录下的所有rpm文件的以.分隔倒数第二个字段的重复次数
        ls -1  /misc/cd/Packages/ |sed -nr "s@(.*\.)([[:alnum:]_]+\.rpm)@\2@p" |sort |uniq -c|sort -n
8、统计/etc/init.d/functions文件中每个单词的出现次数，并排序（用grep和sed两种方法分别实现）
        grep  -o "[[:alpha:]]\+" /etc/init.d/functions |sort|uniq -c|sort -nr
        sed -nre 's/[^[:alpha:]]+/\n/gp'  /etc/init.d/functions |sort | uniq -c|sort -n
9、将文本文件的n和n+1行合并为一行，n为奇数行
        nl f1|sed -n "N;s/\n//p"