Linux-文本处理工具sed

Linux-文本处理工具sed
Linux-文本处理工具awk
Linux-文本处理工具grep
Linux-文本处理工具cut
Linux-正则表达式RE

cat -n files 可以查看文件的行数

流编辑器 sed

一、sed工作流程

sed 是一种在线的、非交互式的编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。sed命令告诉sed对指定行进行何种操作，包括打印、删除、修改等。

sed -ri.bak
sed -ric --follow-symlinks

head /etc/passwd > passwd //搞一个示例文件 输出头十行
首先看一下多少行 set nu

=======================================================================

二、命令格式

sed [options] 'command' file(s)       //  sed 【选项】 ‘命令’文件路径/文件名
sed [options] -f scriptfile file(s)       //  sed 【选项】 -f  脚本文件/文件名

注：
sed和grep不一样，不管是否找到指定的模式，它的退出状态都是0
只有当命令存在语法错误时，sed的退出状态才是非0

表格速记：

三、支持正则表达式

与grep一样，sed在文件中查找模式时也可以使用正则表达式(RE)和各种元字符。正则表达式是

括在斜杠间的模式，用于查找和替换，以下是sed支持的元字符。

四、sed基本用法

# sed -r '' /etc/passwd                  #什么也不干，单纯的显示出来
# sed -r 'p' /etc/passwd                #显示2行   -r  -p 动作2次   p  print  打印
# sed -r -n 'p' /etc/passwd               只打印 不显示

# sed -r -n '/root/p' /etc/passwd            显示root的行   ^ 匹配root 开头  ^root

sed会自动打印文件的每一行，加-n则不会打印，只有显式使用打印命令p才会输出相应行

# sed -r 's/root/alice/' /etc/passwd
# sed -r 's/root/alice/g' /etc/passwd
# sed -r 's/root/alice/gi' /etc/passwd          i 忽略大小写 （替换）
	
# sed -r '/root/d' /etc/passwd                 删除带root  的行
# sed -r '\#root#d' /etc/passwd

五、sed扩展

＝＝地址（定址）
地址用于决定对哪些行进行编辑。地址形式可以是数字、正则表达式或二者的结合。如果没有指定
地址，sed将处理输入文件中的所有行。

# sed -r 'd' /etc/passwd	            没有指定 直接全部删了
# sed -r '3d' /etc/passwd                删除了第三行
# sed -r '1,3d' /etc/passwd               1-3 行删除    
# sed -r '/root/d' /etc/passwd           找到root 删除                  

# sed -r 's/root/alice/g' /etc/passwd     全局替换  root  换成  Alice

# sed -r '/^adm/,20d' /etc/passwd       //删除到第20行
# sed -r '/^adm/,+20d' /etc/passwd    //再删除20行
# sed -r '2,5d' /etc/passwd            #删除2-5行
# sed -r '/root/d' /etc/passwd        //匹配之后删除的
# sed -r '/root/!d' /etc/passwd      //只有root 不删  其它的都删

# sed -r '1~2d' /etc/passwd        //删除所有奇数行 odd-numbered      除2  余 1  的文件  
# sed -r '0~2d' /etc/passwd       //删除所有偶数行 even-numbered      除2  余 0  的文件

六、sed命令示例

打印命令：p

# sed -r '/north/p' datafile
# sed -r -n '/north/p' datafile

删除命令：d

# sed -r '3d' datafile
# sed -r '3{d;}' datafile
# sed -r '3{d}' datafile

# sed -r '3,$d' datafile
# sed -r '$d' datafile
# sed -r '/north/d' datafile		
# sed -r '/sout/d' datafile

替换命令：s

# sed -r 's/west/north/g' datafile	
# sed -r 's/^west/north/' datafile	
# sed -r 's/[0-9][0-9]$/&.5/' datafile				//&代表在查找串中匹配到的内容
# sed -r 's/Hemenway/Jones/g' datafile	
# sed -r 's/(Mar)got/\1ianne/g' datafile	       注意 \1 的使用                                                     
# sed -r 's#3#88#g' datafile			

读文件命令：r

# sed -r '/Suan/r /etc/newfile' datafile	        
# sed -r '2r /etc/hosts' a.txt		
# sed -r '/2/r /etc/hosts' a.txt

写文件命令：w

# sed -r '/north/w newfile' datafile		
# sed -r '3,$w /new1.txt' datafile

追加命令：a

# sed -r '2a\1111111111111' /etc/hosts         在第二行后追加上                                                                                                                                                                                                                             
# sed -r '2a\1111111111111\
> 222222222222\
> 333333333333' /etc/hosts

插入命令：i

# sed -r '2i\1111111111111' /etc/hosts
# sed -r '2i111111111\
> 2222222222\
> 3333333333' /etc/hosts

修改命令：c

# sed -r '2c\1111111111111' /etc/hosts
# sed -r '2c\111111111111\
> 22222222222\
> 33333333333' /etc/hosts

获取下一行命令：n

# sed -r '/eastern/{ n; d }' datafile
# sed -r '/eastern/{ n; s/AM/Archile/ }' datafile			

暂存和取用命令：h H g G

# sed -r '1h;$G' /etc/hosts
# sed -r '1{h;d};$G' /etc/hosts
# sed -r '1h; 2,$g' /etc/hosts
# sed -r '1h; 2,3H; $G' /etc/hosts

暂存空间和模式空间互换命令：x

# sed -r '4h; 5x; 6G' /etc/hosts

反向选择: !

# sed -r '3d' /etc/hosts
# sed -r '3!d' /etc/hosts

多重编辑选项：-e / ; (两种方式)

# sed -r -e '1,3d' -e 's/Hemenway/Jones/' datafile	    删除并查找替换
# sed -r '1,3d; s/Hemenway/Jones/' datafile	            

# sed -r '2s/WE/1000phone/g; 2s/Gray/YYY/g' datafile
# sed -r '2{s/WE/1000phone/g; s/Gray/YYY/g}' datafile

七、sed常见操作

删除配置文件中#号注释行

sed -ri '/^#/d' file.conf 
sed -ri '/^[ \t]*#/d' file.conf      空格和table键 '/^#/d'       [ \t] *      空格和table
            						 用 #  和 ！ 号可以避免混乱 也不用再加 转意符

删除配置文件中//号注释行

sed -ri '\Y^[ \t]*//Yd' file.conf          开头是空格 或者tab 的  结尾    （这里的\t  是指以tab 开头的）

删除无内容空行

sed -ri '/^[ \t]*$/d' file.conf                                           
[root@localhost ~]# sed -i '/^[ \t]*$/d'        

删除注释行及空行：

# sed -ri '/^[ \t]*#/d; /^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
# sed -ri '/^[ \t]*#|^[ \t]*$/d' /etc/vsftpd/vsftpd.conf
# sed -ri '/^[ \t]*($|#)/d' /etc/vsftpd/vsftpd.conf

修改文件：

# sed -ri '$a\chroot_local_user=YES' /etc/vsftpd/vsftpd.conf
# sed -ri '/^SELINUX=/cSELINUX=disabled' /etc/selinux/config        可以写到初始化脚本里
# sed -ri '/UseDNS/cUseDNS no' /etc/ssh/sshd_config                                                             修改ssh配置文件中 的 dns 解析的
# sed -ri '/GSSAPIAuthentication/cGSSAPIAuthentication no' /etc/ssh/sshd_config                  修改ssh 启动项

给文件行添加注释：

# sed -r '2,6s/^/#/' a.txt              给第 2-6  行 加注释
# sed -r '2,6s/(.*)/#\1/' a.txt         注意\1  的使用                                                                       
# sed -r '2,6s/.*/#&/' a.txt            &匹配前面查找的内容
# sed -r '3,$ s/^#*/#/' a.txt			将行首零个或多个#换成一个#    第三行  到  最后一行 结束
# sed -r '30,50s/^[ \t]*#*/#/' /etc/nginx.conf
# sed -r '2,8s/^[ \t#]*/#/' /etc/nginx.conf

sed中使用外部变量

# var1=11111
# sed -ri '3a$var1' /etc/hosts       第三行的下一行追加这几个 $var1      
# sed -ri "3a$var1" /etc/hosts       第三行的下一行追加这几个 11111        （注意 单引号 与 双引号的区别）
# sed -ri 3a$var1 /etc/hosts

# sed -ri "$a$var1" /etc/hosts       这个是错误的
# sed -ri '$a'"$var1" /etc/hosts           
# sed -ri "\$a$var1" /etc/hosts      转意成自己的变量  不把他当成 shell 的变量  此命令可以实现其功能

sed –i会破坏原有文件的的软链接或硬链接

$ sudo sed -ri s/^#baseurl/baseurl/g /etc/yum.repos.d/CentOS-Base.repo
$ sudo sed -ri s/^mirrorlist/#mirrorlist/g /etc/yum.repos.d/CentOSBase.repo