sed工具的使用

sed上

sed是流式编辑器，是针对文档的行来操作，它比grep有着更加强大的功能，它可以查找内容替换。

sed的命令格式为：

sed -n 'n'p filename //单引号内的n 是一个数字，表示第几行。

-n:选项的作用是显示我们要打印的行。

sed命令的具体用法：

sed -n'5'p test.txt

sed -n '1,5' test.txt

sed -n  '1,$'p test.txt

sed -n '/root/'p test.txt

sed -n '/^1/'p test.txt

sed -n 'in$'p test.txt

sed -n '/r..o/'p test.txt

sed -n 'oo*'p test.txt

sed -n '1'p -e '/111/'p -n test.txt

4.2 .1 sed -n '3'p 1.txt //打印出第5行

sed -n '1,5'p 1.txt //打印出1到5行

4.2.2 sed -n '/root/'p 1.txt //查找出root的行

 

4.2.3 sed  -n '/^r/'p 1.txt 

sed -nr '/t$/' 1.txt 打印出以// t 结尾的行

4.2.4 sed -n '/r..t/'p 1.txt / /匹配r..t中的行可以是一个或多个

sed -n '/r*t/'p 1.txt

 

4.2.5 sed -n -e'1'p -e '/halt/'p 1.txt //匹配出第1行或者有halt的行

 

5.sed 下

5.1 不仅有过滤的功能还可以删除和查找替换。

sed工具

sed  '1'd test.txt

sed  '1,3'd test.txt

sed  '/oot/'d test.txt

sed '1.2s/ot/to/g' test.txt

sed  's#ot#to#g' test.txt

sed 's/[o-9]//g' test.txt

sed 's/[a-zA-Z]//g' test.txt

sed -r 's/(rot)(.*)(bash)/\3\2\1/' test.txt

sed 's/^.*$/123&/' test.txt

sed -i 's/ot/to/g' test.txt

5.2 sed实例：sed  '1'd 1.txt ,sed '1,5'd 1.txt , sed '/nologin/'d 1.txt //删除的用法

 

sed '/nologin/'d 1.txt 

 

5.3 sed '1,6s/bin/adming/g' 1,txt 将1-6行在bin替换admin

5.4 sed 's/[0-9]//g' 1.txt  ,sed 's /[a-zA-Z]//g' 1.txt //删除没有数字或者是字母的行

sed 's /[a-zA-Z]//g' 1.txt

5.5 利用sed 把1.txt 文件的root和bash调换位置

sed -r 's/([^:]+):(.*):([^:]+）/ \3:\2:\1/' 1.txt 

5.6 sed 's/^[a-z]/343$/' 1.txt在小写字母前加上343

5.7 sed -r  's/root/admin/g' 1.txt//直接修改文本中的内容将root改为admin

6.awk

6.1 awk也是流式编辑器，针对文档中是行来操作，一行一行的执行。awk 兼具sed所有功能而且更加强大。

 

6.2 下面也是通过实例来讲解一下awk的具体的用法：

1）截取文档中的某个段。awk -F ':' '{print $1}' -F:作用指定分隔符。print为打印的动作，有来打印某个字段$1为第一字段，$2等。但是$o比较特殊它表示整行 

 

awk -F(紧跟单引号，单引号里面为分隔符。print的动作要用{}括起来，否则报错。 

 

print还可以打印自定义的内容，但是自定义的内容要用双引号括起来，如下：

 

2）匹配字符或者字符串

awk '/oo/' etc/passwd

 

~：它可以让某个段去匹配 。awk 还可以多次匹配。

#awk -F ':'  '/root/ {print $1,$3}  /user/ {print $1,$3}' /etc/passwd

3)条件操作符

#awk -F ':'  '$3==="o" ' /etc/passwd

#awk -F ':'  '$3>="500"' /etc/passwd

#awk -F ':' '$3>=500' /etc/passwd

 

从上面的两个例子来看，在和数字比较时，若把比较的数字用双引号引起来，那么awk不会认为是数字，而会认为是字符，不加双引号则会认为是数字。

#awk -F ':' '$7!="/sbin/nologin/" ' /etc/passwd !=表示不匹配，它除了针对某一个段的字符进行逻辑比较外，还可以在两个段之间进行逻辑比较。

#awk -F ':' '$3<$4' /etc/passwd

另外还可以使用&&和| |，它们分别表示“并且”和“或者”

&&的用法：

 

| |的用法 

 

6.3  awk的内置变量

awk 的内置变量有 OFS ,NF,NR OFS和-F选项有类似的功能，也是用来定义分隔符，NF:表示段NR:表示行号

 

OFS的用法示例:

变量NR的具体用法： 

变量NF是多少段$NF表示最后一段的值。 

 

awk 中的数学运算

awk可以更改段值

 

 

直播课堂笔记

 

awk语法结构：
awk -F ':' 'BEGIN{语句} {if(条件){语句1;语句2;语句3} } END{语句}' filename

打印某行到某行之间的内容
sed -n '/tss/,/sas/p' /etc/passwd

sed转换大小写
1. 把每个单词的第一个小写字母变大写：
sed 's/\b[a-z]/\u&/g' filename
2. 把所有小写变大写：
sed 's/[a-z]/\u&/g' filename
3. 大写变小写：
sed 's/[A-Z]/\l&/g' filename

sed在某一行最后添加一个数字
sed -r 's/(^a.*)/\1 12/' test
sed -r 's/^a.*/& 12/' test

打印1到100行含某个字符串的行
sed -n '1,100{/abc/p}' 1.txt

awk 中使用外部shell变量
a=2; echo "a:b:c:d"|awk -F ":" -v get_a=$a '{print $get_a}'

awk 合并一个文件

awk 'NR==FNR {a[$1]=$2} NR>FNR {print $0,a[$1]}' 1.txt 2.txt

说明：
awk '{print NR,FNR}' 1.txt 2.txt //首先理解NR和FNR的不同（awk支持同时操作多个文件内容）
当NR==FNR其实就是第一个文件的内容
当NR>FNR，其实就是第二个文件的内容

把一个文件多行连接成一行
方法一：
a=`cat file`;echo $a 
方法二：
awk '{printf("%s ",$0)}' file
方法三：
cat file |xargs

awk中gsub函数的使用 
awk 'gsub(/www/,"abc")' /etc/passwd // passwd文件中把所有www替换为abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd // 替换$1中的www为abc

awk 截取指定多个域为一行 
用awk指定分隔符把文本分为若干段。如何把相同段的内容弄到一行？
以/etc/passwd为例，该文件以":"作为分隔符，分为了7段。
for i in `seq 1 7`
do
awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd
echo 
done

过滤两个或多个关键词
grep -E '123|abc' filename // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename //用egrep同样可以实现
awk '/123|abc/' filename // awk 的实现方式

awk用print打印单引号 
awk 'BEGIN{print "a'"'"'s"}'
awk 'BEGIN{print "a'\''s"}'
awk 'BEGIN{print "a\"s"}'