sed和awk常用操作

1. sed命令说明

sed是流式文本处理，它是对文本进行一行一行的处理，处理完一行之后，再读取下一行，sed默认不会修改源文件的

命令格式：

sed 参数 '动作' 文本文件

参数有：

• -n 仅显示sed处理后的结果。
• -i 将修改保存到源文件中
• -e <script> 以选项中指定的script来处理输入的文本文件。
• -f<script文件> 以选项中指定的script文件来处理输入的文本文件。

动作有：

动静基本和 vim 中一样，a 是新增，i 是插入，d 是删除，s 是替换

• a:新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
• i:插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
• s:替换，替换字符串，需要使用分隔符把新旧文本分开，分隔符可以为：/ , #
• d:删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
• c:取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
• p:打印，亦即将某个选择的数据印出。通常 p 会与参数sed -n一起运行
• q:退出, 退出sed处理，一般用来找到第一个匹配项就退出处理了
  eg

# 打印第10行，p 一般和 -n配合使用
sed -n '10p' test.txt

# 打印1到10行
sed -n '1,10p' test.txt

# 每隔2行查看，查看1,3,5....行
sed -n '1~2p' test.txt

# 新增,在第1行后新增 ========
sed '1a ========' test.txt

# 插入，在1行前面插入 =======
sed '1i =======' test.txt

# 删除, 删除最后一行,$表示最后一行
sed '$d' test.txt

# 退出,找到pibigstar就退出
sed '/pibigstar/q' test.txt

# 替换，一行只会替换第一个匹配的，后面的不会被替换
sed 's/dev/prod/' test.txt

# 全局替换，添加 -g，那么一行中如果符合将全部替换
sed 's/dev/prod/g' test.txt

一般先不用-i参数，当我们执行 sed之后会显示执行后的结果，如果结果是符合我们预期的，那么再加上 -i 参数来达到修改源文件的目的

1.2 Sed高级操作

• {}:多个动作，{}中可放多个sed动作，用 ;分开
• &:替换固定字符串，主要是优化替换操作，& 代表前面替换的字符
• \u\U:大小写转换，\u将其转换为小写，\U将其转换为大写
• ():取括号中的值，替换时可根据\1来标识取那个()中的值，\2取第二个括号中的值,注意使用时都是需要用\( \)，其实主要也是为了优化替换操作

# 多个动作,先删除第一行,然后将后面的 dev 替换为 prod
sed '{1d;s/dev/prod/g}' test.txt
# & 操作,将 = 后面添加一个空格
sed 's/=/& /' test.txt
# \u操作,将ROOT转换为root
sed 's/ROOT/\u&/' test.txt
# ()操作，取出username
sed 's/\([a-z_-]\+\):.*$/\1/' passwd

1.3 Sed常用命令

# 配置文件尾添加配置
sed  '$a port=8080 \nhost=127.0.0.1' test.txt

# 删除文本空行
sed '^$d' test.txt

2. awk命令说明

awk的命令格式

awk -F '分隔符' '命令' file

内置函数
$0: 代表所有域
$1: 代码第一个域，下面依次类推 $2,就是第二个域
NR: 行号
NF: 字符数
print: 打印
printf: 格式化打印

2.1 切换分割符

-F 是可选参数，可以不写，不写的话，默认分隔符为空格

以冒号:作为分隔符

awk -F ':' '{print $1}' /etc/passwd

{} 中可直接可以放代码块，if…else…

awk -F ':' '{printf("user:%s Line:%s Col:%s \n",$1,NR,NF)}' /etc/passwd

2.2 条件输出

初次之外我们还可以有条件的将其输出

# 当$3 大于 100 才输出
awk -F ':' '$3>100{print $1}' /etc/passwd

2.3 BEGIN…END循环

统计文件夹下所有文件一共多大

ls -l | awk 'BEGIN{size=0}{size+=$5}END{print "all size:"size/1024/1024"M"}'

我们将一行文本按分隔符分隔之后，第一个就是 第一个域，下面依次类推
举个栗子：

root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in
root     pts/1   192.168.1.100  Tue Feb 10 00:46 - 02:28  (01:41)
root     pts/1   192.168.1.100  Mon Feb  9 11:41 - 18:30  (06:48)
dmtsai   pts/1   192.168.1.100  Mon Feb  9 11:41 - 11:41  (00:00)
root     tty1                   Fri Sep  5 14:09 - 14:10  (00:01)

将上面的信息保存为test.txt文件，我们执行下面命令

awk '{print $1}' test.txt

我们没有指定分隔符，那么就是以 空格 进行分隔的，那么输出结果就会是

root
root
root
dmtsai
root

awk 是逐行进行分析，我们分析第一行就可以了

root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in

按分隔符进行分隔，那么

域1       域2		    域3			域4				   域5
root     pts/1   192.168.1.100  Tue Feb 10 11:21   still logged in

2.4 实例

查问某文件中的关键字

awk '/root/' /etc/passwd

其中 / / 之间可以使用正则表达式

awk '/^root/' /etc/passwd

3. uniq

uniq 可检查文本文件中重复出现的行列，一般与 sort 配合使用

• -c 在每列旁边显示该行重复出现的次数
• -d 仅显示重复出现的行列
• -u 仅显示出一次的行列

4. Sort

排序

• -n 依照数值的大小排序
• -r 倒序
• -b 忽略每行前面开始出的空格字符。
• -c 检查文件是否已经按照顺序排序。
• -d 排序时，处理英文字母、数字及空格字符外，忽略其他的字符。

5. 实例

5.1 查看本地所有运行的端口

netstat -na | grep LISTENING | awk '{print $2}' | awk -F: '{print $2}'

5.2 查看Nginx日志，统计访问最高的IP

1. 查看nginx配置

locate nginx.conf

2. 查看 access_nginx.log

223.153.229.173 - - [22/Sep/2021:05:44:28 +0800] "GET /apple-touch-icon-120x120-precomposed.png HTTP/1.1" 404 146 "-" "MobileSafari/604.1 CFNetwork/974.2.1 Darwin/18.0.0"
223.153.229.173 - - [22/Sep/2021:05:44:28 +0800] "GET /apple-touch-icon-120x120.png HTTP/1.1" 404 146 "-" "MobileSafari/604.1 CFNetwork/974.2.1 Darwin/18.0.0"
223.153.229.173 - - [22/Sep/2021:05:44:28 +0800] "GET /apple-touch-icon-precomposed.png HTTP/1.1" 404 146 "-" "MobileSafari/604.1 CFNetwork/974.2.1 Darwin/18.0.0"

3. 统计ip访问最高的

awk `{print $1}` access_nginx.log | uniq -c | sort -n -r