sed和awk

sed和awk

grep就是查找文件中的内容，扩展正则表达式

sed

sed是一种流编辑器，一次处理一行内容（增删改查）

如果只是展示，会放在缓冲区（模式空间），展示结束之后，会从模式空间把操作结果删除

一行一行处理，处理完当前行，才会处理下一行，直到文件末尾

sed的命令格式和操作选项

sed -e ‘操作符’ -e ’操作符 文件一文件二‘

-e表示多个操作符，只有一个操作，可以省略

sed -e’操作符1;操作符2’ 文件1 文件二

选项：

-e：用于执行多个操作命令

-f：在脚本中定义好操作符，然后根据脚本内容的操作符对文件进行操作

-i：直接修改目标文件（慎用）

-n：仅显示script处理后的结果（不加-n，sed会有两个输出结果，加了-n之后就会把默认输出屏蔽掉《显示一个结果）

p ：打印结果

r：扩展正则表达式

s：替换，替换字符串

g:替换全部

c：替换，替换行

y：替换，替换单个字符，多个字符替换必须和替换内容的字符长度保持一致

d：删除，删除行

a：增加，在指定行的下面一行插入内容

i：增加，在指定行的上面一行插入内容

r：在行后增加文本内容

$a：在最后一行插入新的内容

$i：在倒数第二行插入新的内容

$r：读取其他文件的内容，然后插入到对象文件的最后一行

打印功能

寻址打印

sed -n ‘=;p’、

打印最后一行加$

行号范围打印

sed -n ‘2;4p’ 2-4行

sed -n ‘2p;4p’ 只打印第二行和第四行

打印奇数行和偶数行

sed -n ‘n;p’

n的作用跳过一行，打印下一行

对文本内容进行过滤 都要有//

sed -n ‘/a/p’ test1

/a ：是要过滤的内容

/p：还是打印

使用正则表达式对文本内容进行过滤

扩展正则

小题

如何免交互删除文本内容

sed -i ‘d’ 文件名 ：删除文件里的内容

cat /dev/null > 文件名

这是文件黑洞

如何免交互的方式删除空行

grep -v ‘^$’ 文件名

cat test.txt |tr -s “\n”

sed ‘/^$/d’ 文件名

sed的删除操作

sed -n ''行数d，

！是取反

替换字符串

/l把大写转为小写

sed -in '1,3d|5d;p' test1 
[root@test1 opt]# sed -n 's/root/test/gp' /etc/passwd
test:x:0:0:test:/test:/bin/bash
operator:x:11:0:operator:/test:/sbin/nologin

对字母进行替换

l&把大写转为小写

u&把小写转为大写

 sed 's/[a-z]/\u&/' test1  转换首字母大写的特殊模式
 Mlmv
Vdfkgvmm
Dsdfs
Cvaggrva
Sdvcvcxz
Sdfaea
全部换为大写
sed 's/[a-z]/\u&/g' test2
MLMV
VDFKGVMM
DSDFS
CVAGGRVA
SDVCVCXZ
SDFAEA

大写换小写

sed 's/[A-Z]/\l&/' test3
iLDFLV
sDLFFS
nVLC;MA
nVLAO
[root@test1 opt]# sed 's/[A-Z]/\l&/g' test3
ildflv
sdlffs
nvlc;ma
nvlao

使用sed对字符串的位置进行互换

 echo chengqianshuai | sed -r 's/(cheng)(qian)(shuai)/\3\1\2/'
shuaichengqian

试题

cat test4 | sed -r 's/(.*)-(.*)(\.jar)/\2/'
1.9.7
1.9.7
2.7.7
3.4
1.0
0.7.6
5.0.4
1.9.5
1.64
1.46
1.64
2.5.5

打印指定时间的日志

se

sed -n '/Jun 21 11:00:01/,/Jun 21 12:50:01/p' /var/log/messages
Jun 21 11:00:01 test1 systemd: Started Session 385 of user root.
Jun 21 11:01:01 test1 systemd: Started Session 386 of user root.
Jun 21 11:10:01 test1 systemd: Started Session 387 of user root.
Jun 21 11:20:01 test1 systemd: Started Session 388 of user root.
Jun 21 11:30:01 test1 systemd: Started Session 389 of user root.
Jun 21 11:40:01 test1 systemd: Started Session 390 of user root.
Jun 21 11:50:01 test1 systemd: Started Session 391 of user root.
Jun 21 12:00:01 test1 systemd: Started Session 392 of user root.
Jun 21 12:01:01 test1 systemd: Started Session 393 of user root.
Jun 21 12:10:01 test1 systemd: Started Session 394 of user root.
Jun 21 12:20:01 test1 systemd: Started Session 395 of user root.
Jun 21 12:30:01 test1 systemd: Started Session 396 of user root.
Jun 21 12:40:01 test1 systemd: Started Session 397 of user root.
Jun 21 12:50:01 test1 systemd: Started Session 398 of user root

d的主要作用就是对文本的内容进行层删改查

强大的就是改和层

使用脚本形式，结合sed命令，把pxe自动装机做一个自动化部署的脚本

sed -r ‘s/#(ddns.+)/\1/’ l1.sh

sed -r ‘s/\b[^/s]/\u&/g’ l1.sh

awk

grep 查

sed 增删改查 增该

awk 按行取列

awk 默认的分隔符：空格，tab键，多个空格自动压缩成一个

awk {print}

awk的原理，根据指令信息，逐行的读取文本内容，然后按照条件进行格式化输出

awk的选项：

-F 指定分隔符，默认就就是空格

-v 变量复制

内置变量

$#：按行需要取出的第几个字段

$0：打印所有，展示所有文本内容（默认）

NR：需要处理的行号

NF：处理行的字段字数，$NF：当前行的最后一个字段

FS：FS和F是一样的，都是指定分隔符，-F：FS=“.“

OFS：指定输出内容的分隔符

RS：行分隔符，可以根据RS的设置吧文件内容切割成多个记录，也可以改变行的分隔符，默认可以改变行的分隔符，默认是\n 换行

命令格式

awk -F '操作符{动作}'处理对象

-F 指定分隔符，如果是空格可以不加

动作默认就是打印

awk ‘{print}’

打印行号

awk ‘{print NR,$0}’ 文件明

打印指定行

awk ‘NR==3{print}’ 文件名

awk ‘NR3，NR5{print}’ 3-5行

awk ‘NR3；NR5{print}’ 只有三行和五行

打印奇偶行

awk ‘NR%2==0{print}’ 偶数

awk ‘NR%2==1{print}’ 奇数

指定分隔符

awk -F：'{print $3}' 这是提取第三列的内容

提取1-3第三列

awk -F: 'NR==1,NR==3 {print $3}' /etc/passwd
0
1
2

只要第三行第三列的内容

awk怎么使用文本过滤

awk ‘/root/{print}’ /etc/passwd

awk ‘/^root/{print}’ /etc/passwd

awk ‘/bsah$/{print}’ /etc/passwd

BEGIE打印模式

awk ‘BEGIE{…};{…}END{…}’

BEGIE{…}预先的条件，指定awk命令前的初始化操作

{…} 处理条件，如何多初始值进行操作

END{…} 处理完之后的操作，一般都是打印

区幂运算

awk ‘BEGIE{x=0};{x++};END{print x}’ 文件名

-v来进行赋值

RS替换分隔符

awk的条件判断打印

awk -F ： ‘$3>900{print $0}’

awk的三元表达式：
if
else语句

num=($3>$4)?$3:$4

？ if

：else

; fi

if （$3>$4）

echo $3

else

echo $4

fi

awk的精确筛选

$n(><==) 用于比较数值

$n~‘‘字符串’’：该字段包含某个字符串

$n!~‘‘字符串’’：该字段不包含某个字符串

$n==‘‘字符串’’：该字段等于这个字符串

$NF 代表最后一个字符

 $1 $NF是产看第一行到最后一行
 awk -F: '$7~"bash" {print $1,$NF}' /etc/passwd
root /bin/bash
test1 /bin/bash
dn /bin/bash
mfq /bin/bash
mfq1 /bin/bash
mf1 /bin/bash
fd /bin/bash
xy102 /bin/bash

取列 没有直接范围 要自己把范围加上

awk -F: '$7~"bash" {print $1,$2,$3}' /etc/passwd
root x 0
test1 x 1000
dn x 1001
mfq x 1002
mfq1 x 1003
mf1 x 1004
fd x 1005
xy102 x 1006
[root@test2 opt]# awk -F: '$7~"bash" {print $1,$2}' /etc/passwd

root x
test1 x
dn x
mfq x
mfq1 x
mf1 x
fd x
xy102 x

取反

awk -F: '$7!~"bash" {print $1,$2}' /etc/passwd

awk -F: '$7!="/bin/bash" {print $1,$2}' /etc/passwd

逻辑关系

/etc/passwd 第一列=dn 第七列是 、/bin/bash

且和或
awk -F: '($1=="dn")&&($NF=="/bin/bash"){print $1,$NF}' /etc/passwd
dn /bin/bash
[root@test2 opt]# awk -F: '($1=="ntp")||($NF=="/bin/bash"){print $1,$NF}' /etc/passwd
root /bin/bash
ntp /sbin/nologin
test1 /bin/bash
dn /bin/bash
mfq /bin/bash
mfq1 /bin/bash
mf1 /bin/bash
fd /bin/bash
xy102 /bin/bash

提取nginx目录下的ip

curl获取和发送数据

获取网页内容并输出

-O 下载文件到本地

-o 将文件下载到指定路径

-x 发送post请求

-i 获取web软件的版本

awk 按行取列

awk的精确筛选

awk的运算符

取小数点几位以及 小数点运输怎么取整

etc/目录大小求和