编写Shell脚本以及使用Sed和Awk作文本处理

---

---

一、编写并运行Shell脚本

使用vim创建test.sh文件，并写入以下内容保存后退出

#!/bin/bash
echo "Hello World!"

运行Shell脚本的三种方法

# 作为解释器参数作为解释器参数
[root@VM-4-5-centos test]# bash test.sh
Hello World!
[root@VM-4-5-centos test]# sh test.sh
Hello World!

# 作为可执行程序（要修改脚本权限）
[root@VM-4-5-centos test]# chmod 777 test.sh
[root@VM-4-5-centos test]# ./test.sh
Hello World!

# 在当前进程中运行Shell脚本
[root@VM-4-5-centos test]# source test.sh
Hello World!
[root@VM-4-5-centos test]# . test.sh
Hello World!

编程实现两个数累加之后的和，熟悉Shell脚本的变量定义、循环、运算以及函数的运用方法。

#!/bin/bash
function getSum(){
    SUM1=0
    SUM2=0
    for ((i=1;i<=$n1;i++))
    do
         SUM1=$[$SUM1+$i]
    done

    for ((j=1;j<=$n2;j++))
    do
         SUM2=$[$SUM2+$j]
    done

    echo "sum=$[$SUM1+$SUM2]"
}
read -p "请输入第一个参数n1：" n1
read -t 10 -p "请在10秒内输入第二个参数n2：" n2
# 调用 getSum 函数
getSum $n1 $n2

运行结果：

[root@VM-4-5-centos test]# vim math.sh
[root@VM-4-5-centos test]# . math.sh
请输入第一个参数n1：3
请在10秒内输入第二个参数n2：3
sum=12

二、Sed文本处理

一个简单的 sed 命令包含三个主要部分：参数、范围、操作。要操作的文件，可以直接挂在命令行的最后。

匹配模式

-n 表示忽略执行过程的输出，1,4 表示找到文件中 1到4 行的内容，p 为打印操作。

替换模式

命令示例

输出长度不小于 50 个字符的行

sed -n '/^.{50}/p'

查找目录中的 sh 文件，删掉所有行级注释

find ./ -name "*.py" | xargs sed  -i.bak '/^[ ]*#/d'

统计文件中有每个单词出现了多少次

sed 's/ /\n/g' file | sort | uniq -c

三、AWK文本处理

awk命令包含四个主要部分：BEGIN 开头部分、END 结尾部分、Pattern 匹配部分、Action 模块。

命令示例

打印文件中的第一列，注意awk 的列$是以 1 开始的，而0指的是原始字符串。

[root@VM-4-5-centos test]# awk '{print $1}' math.sh
function
SUM1=0
SUM2=0
for
do
SUM1=$[$SUM1+$i]
done

for
do
SUM2=$[$SUM2+$j]
done

echo
}

read
read

getSum

打印奇数行

awk 'a=!a' file

输出行数

awk 'END{print NR}' file

外网连接数，根据 ip 分组

[root@VM-4-5-centos test]# netstat -ant | awk '/^tcp/{print $4}' | awk -F: '!/^:/{print $1}' | sort | uniq -c
      1 0.0.0.0
      4 10.0.4.5
      1 127.0.0.1

---

总结

Sed命令应用广泛，使用简单，是快速文本处理的利器。Awk是一个优良的文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一。