shell-awk

目录

什么是awk     

awk的执行方式

awk的基本语法

1、获取根分区剩余大小

2、获取当前机器ip地址

4、打印/etc/passwd中UID大于500的用户名和uid

5、/etc/passwd 中匹配包含root或net或ucp的任意行

6、处理以下文件内容,将域名取出并根据域名进行计数排序处理(百度搜狐面试题)

7、请打印出/etc/passwd 第一个域，并且在第一个域所有的内容前面加上“用户帐号：”

8、请打印出/etc/passwd 第三个域和第四个域

9、请打印第一域，并且打印头部信息为：这个是系统用户，打印尾部信息为:"================"

10、请打印出第一域匹配daemon的信息

11、请将/etc/passwd 中的root替换成gongda，记住是临时替换输出屏幕看到效果即可.

12、请匹配passwd最后一段域bash结尾的信息，有多少条

13、请同时匹配passwd文件中，带mail或bash的关键字的信息

---

什么是awk     

   awk是Linux以及UNIX环境中现有的功能最强大的数据处理工具。简单地讲，awk是一种处理文本数据的编程语言。awk的设计使得它非常适合于处理由行和列组成的文本数据。而在Linux或者UNIX环境中，这种类型的数据是非常普遍的。
        除此之外，awk 还是一种编程语言环境，它提供了正则表达式的匹配，流程控制，运算符，表达式，变量以及函数等一系列的程序设计语言所具备的特性。它从C语言中获取了一些优秀的思想。awk程序可以读取文本文件，对数据进行排序，对其中的数值执行计算以及生成报表等。

awk的执行方式

1．通过命令行执行awk程序，语法如下：
awk 'program-text' datafile
2．执行awk脚本
awk -f program-file file ..
3．可执行脚本文件
 

awk的基本语法

awk [选项] '[条件]{指令}' 文件... ...

1、获取根分区剩余大小

[root@cotenos ~]# df
Filesystem              1K-blocks    Used Available Use% Mounted on
devtmpfs                   480808       0    480808   0% /dev
tmpfs                      497836       0    497836   0% /dev/shm
tmpfs                      497836    8764    489072   2% /run
tmpfs                      497836       0    497836   0% /sys/fs/cgroup
/dev/mapper/centos-root  15718400 6002684   9715716  39% /
/dev/sda1                  201380  153012     48368  76% /boot
tmpfs                       99568      36     99532   1% /run/user/1000
/dev/sr0                  4600876 4600876         0 100% /run/media/test/CentOS 7 x86_64
tmpfs                       99568       0     99568   0% /run/user/0
[root@cotenos ~]# df | awk '/\/$/ {print $4}'
9715800
#/.../：表示正则匹配
# \：表示转义字符
#$：匹配行尾

2、获取当前机器ip地址

[root@cotenos ~]# ifconfig 
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.112.135  netmask 255.255.255.0  broadcast 192.168.112.255
        inet6 fe80::6e0d:6c17:3fd7:a47e  prefixlen 64  scopeid 0x20<link>
        ether 00:0c:29:54:05:ab  txqueuelen 1000  (Ethernet)
        RX packets 624  bytes 69543 (67.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 344  bytes 42873 (41.8 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
        inet 127.0.0.1  netmask 255.0.0.0
        inet6 ::1  prefixlen 128  scopeid 0x10<host>
        loop  txqueuelen 1000  (Local Loopback)
        RX packets 72  bytes 6120 (5.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 72  bytes 6120 (5.9 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

virbr0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 192.168.122.1  netmask 255.255.255.0  broadcast 192.168.122.255
        ether 52:54:00:27:a7:1a  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@cotenos ~]# ifconfig | awk 'NR==2 {print $2}'
192.168.112.135
# NR：记录当前以读入的行的数量。NR==2:当读入第二行的时候执行后面操作
# print：打印
# $n：指定分隔符的第n个字段，如$2表示第二列，默认分隔符为(空格或Tab键)

3、统计出apache的access_log中访问量最多的5个IP

# access_log文件在/var/log/httpd/目录下
[root@cotenos ~]# cd /var/log/httpd/
#统计出access_log中访问的IP的次数
[root@cotenos httpd]# awk '{IP[$1]++} END{for (i in IP) print i,IP[i]}' access_log
#统计出访问量最多的5个IP
[root@cotenos httpd]# awk '{IP[$1]++} END{for (i in IP) print i,IP[i]}' access_log | sort -rn | head -5
#sort -rn：sort，排序；-r，逆序排序（从大到小）；-n，根据数字大小排序

4、打印/etc/passwd中UID大于500的用户名和uid

[root@cotenos ~]# head /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin

[root@cotenos ~]# awk -F: '$3>500 {print $1,$3}' /etc/passwd
polkitd 999
libstoragemgmt 998
colord 997
# -F ：可以指定分隔符，默认分隔符为(空格或Tab键)
# $3>500：表示UID大于500的时候，执行{}的内容
 

5、/etc/passwd 中匹配包含root或net或ucp的任意行

[root@cotenos ~]# awk -F: '/root|net|ucp/ {print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
 

6、处理以下文件内容,将域名取出并根据域名进行计数排序处理(百度搜狐面试题)

test.txt
http://www.baidu.com/index.html
http://www.baidu.com/1.html
http://post.baidu.com/index.html
http://mp3.baidu.com/index.html
http://www.baidu.com/3.html
http://post.baidu.com/2.html
[root@cotenos ~]# awk -F/ '{a[$3]++} END{for (i in a) print i,a[i]}' test.txt 
post.baidu.com 2
www.baidu.com 3
mp3.baidu.com 1
 

7、请打印出/etc/passwd 第一个域，并且在第一个域所有的内容前面加上“用户帐号：”

[root@cotenos ~]# awk -F: '{print "用户账号："$1}' /etc/passwd
用户账号：root
用户账号：bin
用户账号：daemon
用户账号：adm
 

8、请打印出/etc/passwd 第三个域和第四个域

[root@cotenos ~]# awk -F: '{print $3,$4}' /etc/passwd
0 0
1 1
2 2
3 4
4 7
5 0
6 0
7 0
# -F: :以冒号为分隔符
 

9、请打印第一域，并且打印头部信息为：这个是系统用户，打印尾部信息为:"================"

[root@cotenos ~]# awk -F: 'BEGIN{print "这个是系统用户"}  NR<=5{print $1} END{print "=========="}' /etc/passwd
这个是系统用户
root
bin
daemon
adm
lp
==========
# 在所有行前处理，BEGIN{}
#逐行处理，{}
#在所有行后处理，END{}

10、请打印出第一域匹配daemon的信息

[root@cotenos ~]# awk -F: '$1=="daemon" {print $0}' /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
#$0：匹配当前整行内容

11、请将/etc/passwd 中的root替换成gongda，记住是临时替换输出屏幕看到效果即可.

[root@cotenos ~]# sed -n 's/root/gongda/gp' /etc/passwd
gongda:x:0:0:gongda:/gongda:/bin/bash
operator:x:11:0:operator:/gongda:/sbin/nologin
# g：全局替换，默认只替换第一个

12、请匹配passwd最后一段域bash结尾的信息，有多少条

[root@cotenos ~]# awk -F: 'BEGIN{i="bash"} /bash$/{A[i]++} END{for(a in A) print a,A[a]}' /etc/passwd
bash 4
 

13、请同时匹配passwd文件中，带mail或bash的关键字的信息

[root@cotenos ~]# awk -F: '/mail|bash/{print $0}' /etc/passwd
root:x:0:0:root:/root:/bin/bash
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
test:x:1000:1000:test:/home/test:/bin/bash
anni:x:1002:1002::/home/anni:/bin/bash
rhel:x:1003:1003::/home/rhel:/bin/bash