shell脚本——awk文本和数据处理编程语言
一、awk
1、工作原理:
逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”;还可以进行简单的数学运算,如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
2、命令格式:
awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …
3、awk常见的内建变量(可直接用):
FS:列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同
NF:当前处理的行的字段个数。
NR:当前处理的行的行号(序数)。
$0:当前处理的行的整行内容。
$n:当前处理行的第n个字段(第n列)。
FILENAME:被处理的文件名。
RS:行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’
4、按行输出文本:
awk '{print}' 1.txt #输出所有内容
awk '{print $0}' 1.txt #输出所有内容
awk 'NR==1,NR==3{print}' 1.txt #输出第 1~3 行内容
awk '(NR>=1)&&(NR<=3){print}' 1.txt #输出第 1~3 行内容
5、按字段输出文本
6、通过管道、双引号调用 Shell 命令
7、getline
当getline左右无重定向符“<”或“|”时,getline作用于当前文件,读入当前文件的第一行给其后跟的变量var或$0;应该注意到,由于awk在处理getline之前已经读入了一行,所以getline得到的返回结果是隔行的。
当getline左右有重定向符“<”或“|”时,getline则作用于定向输入文件,由于该文件是刚打开,并没有被awk读入一行,只是getline读入,那么getline返回的是该文件的第一行,而不是隔行。
二、实验:提取本机IP地址,并进行二进制的转换输出
方法一:
#获取IP
ifconfig | awk '(NR==2) {print $2}'
#分字段操作
ifconfig |awk '(NR==2) {print $2}' | awk 'BEGIN {RS="."} ; {print} '
#对分段后的IP地址赋值给一个变量
x=`ifconfig |awk '(NR==2) {print $2}' | awk 'BEGIN {RS="."} ; {print} '`
#进行外层循环,四次
for a in $x
do
#进行内循环,选用减法进行循环,如果外层循环的值比被减数大,则取余数,并输出1;反之则输出0,且不取减法结果。
for ((i=1;i<=255;i+=$i))
do
m=$[128/$i]
sum=$[$a-$m]
if [ $a -ge $m ]
then
a=$[$a-$m]
echo -n "1" #不换行输出
else
echo -n "0" #不换行输出
fi
done
echo " " #进行系统默认的空格换行操作
done > 123.txt
#进行结果的输出,并把结果中的空格全部替换成 "."号
IP="`cat 123.txt`"
echo $IP | sed 's/ /./g'
方法二(函数+可交互版)
#!/bin/bash
#定义一个函数,使用位置变量来进行操作
ip(){
x=`echo $1 | awk 'BEGIN {RS="."} ; {print} '`
for a in $x
do
#进行内循环,选用减法进行循环,如果外层循环的值比被减数大,则取余数,并输出1;反之则输出0,且不取减法结果。
for ((i=1;i<=255;i+=$i))
do
m=$[128/$i]
sum=$[$a-$m]
if [ $a -ge $m ]
then
a=$[$a-$m]
echo -n "1"
else
echo -n "0"
fi
done
echo -e "\t"
done
}
##############################
read -p "请输入想要转换的IP地址:" p #定义交互式变量P
list="`ip $p`" #把调用函数后得出的结果放入列表中
echo $list | sed 's/ /./g' #输出列表,并对分隔符进行替换