shell脚本详解（十一）——awk文本和数据处理编程语言

一、awk命令 – 文本和数据进行处理的编程语言

•  awk命令是一种编程语言，用于在linux/unix下对文本和数据进行处理。
•  而且它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。

1、工作原理

•  逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

•  sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“！”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

2、命令格式 

 

3、awk常见的内建变量（可直接使用）

内建变量	说明
FS	列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF	当前处理的行的字段个数
NR	当前处理的行的行号（序数）
$0	当前处理的行的整行内容
$n	当前处理行的第n个字段（第n列）
FILENAME	被处理的文件名
RS	行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’

 

4、按行输出文本

 

 

 BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句。

5、按字段输出文本

 

 

 

 6、通过管道、双引号调用 Shell 命令

 

 

 

 

7、getline

•  当getline左右无重定向符“<”或“|”时，getline作用于当前文件，读入当前文件的第一行给其后跟的变量var或$0；应该注意到，由于awk在处理getline之前已经读入了一行，所以getline得到的返回结果是隔行的。
•  当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

 

 

二、简单例题：提取本机IP地址，并进行二进制的转换输出

方法一：

#获取IP
ifconfig | awk '(NR==2) {print $2}'

#分字段操作
ifconfig |awk '(NR==2) {print $2}' | awk 'BEGIN {RS="."} ; {print} ' 

#对分段后的IP地址赋值给一个变量
x=`ifconfig |awk '(NR==2) {print $2}' | awk 'BEGIN {RS="."} ; {print} '`

#进行外层循环，四次
for a in $x
do
     #进行内循环，选用减法进行循环，如果外层循环的值比被减数大，则取余数，并输出1；反之则输出0，且不取减法结果。   
     for ((i=1;i<=255;i+=$i))
     do
       m=$[128/$i]
       sum=$[$a-$m]
          if [ $a -ge $m ]
          then
          a=$[$a-$m]
          echo -n "1"  #不换行输出
          else
          echo -n "0"  #不换行输出
          fi
     done

echo  " "  #进行系统默认的空格换行操作
done   > 123.txt
      #进行结果的输出，并把结果中的空格全部替换成 "."号 

IP="`cat 123.txt`"
echo $IP | sed 's/ /./g'

 方法二（函数+可交互版）

#!/bin/bash
#定义一个函数，使用位置变量来进行操作
ip(){      
x=`echo $1 | awk 'BEGIN {RS="."} ; {print} '`
for a in $x
do
    #进行内循环，选用减法进行循环，如果外层循环的值比被减数大，则取余数，并输出1；反之则输出0，且不取减法结果。
    for ((i=1;i<=255;i+=$i))
    do
      m=$[128/$i]
      sum=$[$a-$m]
      if [ $a -ge $m ]
      then
          a=$[$a-$m]
          echo -n "1" 
      else
      echo -n "0"  
      fi
    done

echo  -e "\t" 
done
}

##############################

read -p "请输入想要转换的IP地址：" p    #定义交互式变量P
list="`ip $p`"                       #把调用函数后得出的结果放入列表中
echo $list | sed 's/ /./g'            #输出列表，并对分隔符进行替换