awk

[root@server0 ~]# tailf /var/log/secure #动态查看文件的最后10行
显示屏会显示文件最后10行，
按回车一直到屏幕是空白的

然后新开一个终端，试着远程本机，故意 输错密码，然后会发现原来的终端会跳出新的信息，
可以看到有人 远程失败 Failed password，并且可以看到对方的IP
... ...
Oct 27 15:47:06 localhost sshd[3921]: Failed password for root from 172.25.0.11 port 43189 ssh2

然后再试着远程，输入对密码，会发现原来的终端继续跳出新的信息，
可以看到有人 成功远程 Accepted password，登陆了电脑
... ...
Oct 27 15:52:34 localhost sshd[4012]: Accepted password for root from 172.25.0.11 port 43191 ssh2
------------------------
# awk '/Failed/{print $1,$2,$3,$11}' /var/log/secure #可以看到远程登陆我电脑失败的人

[root@server0 ~]# awk '/Accepted/{print $1,$2,$3,$11}' /var/log/secure #可以看到成功远程登陆我电脑的人
Jan 12 18:53:29 172.25.0.250
------------------------
# sed 'r /etc/hosts' a.txt #每行之后都导入文件/etc/hosts
Hello The World
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
Ni Hao Beijing
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

[root@server0 ~]# sed '1r /etc/hosts' a.txt #只在第一行之后导入文件/etc/hosts
Hello The World
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
Ni Hao Beijing
-----------------------------------------------
# cat /root/a.txt
Hello The World
Ni Hao Beijing

# sed 'w /b.txt' a.txt #把a.txt另存为b.txt
Hello The World
Ni Hao Beijing

[root@server0 ~]# cat /b.txt
Hello The World
Ni Hao Beijing

[root@server0 ~]# sed '2w /b.txt' a.txt
Hello The World
Ni Hao Beijing

[root@server0 ~]# cat /b.txt
Ni Hao Beijing
-------------------------------------------
h,g
H,G
小写覆盖，大写追加
h复制，g粘贴

# cat 1.txt
1
2
3
4
5
6
7

[root@server0 ~]# sed '2h;5g' 1.txt #h复制，g覆盖式粘贴.
1
2
3
4
2
6
7
--------------------------------------------
# cat a.txt
Hello The World
Ni Hao Beijing

[root@server0 ~]# awk '{print $1,$3}' a.txt #打印第1列，第3列
Hello World
Ni Beijing
------------------------
格式：awk [选项] '[条件]{指令}' 文件
其中，print 是最常用的编辑指令；若有多条编辑指令，可用分号分隔。
Awk过滤数据时支持仅打印某一列，如第2列、第5列等。
处理文本时，若未指定分隔符，则默认将空格、制表符（tab）等作为分隔符。
------------------------
grep 行过滤
awk 行和列过滤

sed 编辑文件
---------------------
# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/vda1 10G 3.1G 7.0G 31% /
devtmpfs 906M 0 906M 0% /dev
tmpfs 921M 80K 921M 1% /dev/shm
tmpfs 921M 17M 904M 2% /run
tmpfs 921M 0 921M 0% /sys/fs/cgroup
------------------------
[root@server0 ~]# df -h | awk '{print $4}'
可用
7.0G
906M
921M
904M
921M
-----------------------
# awk -F: '{print $1}' /etc/passwd #只打印第1列
root
bin

# awk -F: '{print $1,$7}' /etc/passwd #只打印第1列和第7列
root /bin/bash
bin /sbin/nologin
----------------------
# head -1 /etc/passwd
root:x:0:0:root:/root:/bin/bash

[root@server0 ~]# awk -F[:/] '{print $1,$10}' /etc/passwd
root bash
-----------------------------
# grep ttt /etc/passwd
ttt:x:1004:1004::/home/ttt:/bin/bash

# awk -F[:/] '{print $1,$8}' /etc/passwd #以：或者/作为分隔符
ttt ttt
------------------------------
# cat a.txt
Hello The World
Ni Hao Beijing

[root@server0 ~]# awk -Fo '{print $1}' a.txt #以o作为分隔符
Hell
Ni Ha
-----------------------------
awk常用内置变量：

$0 文本当前行的全部内容
$1 文本的第1列
$2 文件的第2列
$3 文件的第3列，依此类推
NR 文件当前行的行号
NF 文件当前行的列数（有几列）
输出每次处理行的行号，以及当前行以“:”分隔的字段个数（有几列）：
-------------------------------
# cat a.txt
Hello The World
Ni Hao Beijing
aa bb cc dd ee ff

[root@server0 ~]# awk '{print NR}' a.txt #逐行处理，打印当前行的行号
1
2
3

[root@server0 ~]# awk '{print NF}' a.txt #逐行处理，打印当前行共有几列
3
3
6
--------------------------
# cat a.txt
Hello The World
Ni Hao Beijing
aa bb cc dd ee ff

# awk '{print $NF}' a.txt #打印最后一列 $代表最后
World
Beijing
ff
--------------------------
# awk -F: '{print $1,"的解释器：",$7}' passwd #常量用""引号引起来
root 的解释器： /bin/bash
bin 的解释器： /sbin/nologin

# awk -F: '{print $1"的解释器："$7}' passwd #把逗号去掉可以去掉空格
root的解释器：/bin/bash
bin的解释器：/sbin/nologin
--------------------------
1T=1024G 1G=1024M 1M=1024K 1K=1024 byte
--------------------------
# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.25.0.11 netmask 255.255.255.0 broadcast 172.25.0.255
inet6 fe80::5054:ff:fe00:b prefixlen 64 scopeid 0x20<link>
ether 52:54:00:00:00:0b txqueuelen 1000 (Ethernet)
RX packets 142435 bytes 15150114 (14.4 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 90914 bytes 7964995 (7.5 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

# ifconfig eth0 | awk '/RX p/{print $5}'
15164740

# ifconfig eth0 | awk '/TX p/{print $5}'
7976381
---------------------------
# df
文件系统 1K-块 已用 可用 已用% 挂载点
/dev/vda1 10473900 3189936 7283964 31% /
devtmpfs 927060 0 927060 0% /dev
tmpfs 942648 80 942568 1% /dev/shm
tmpfs 942648 17036 925612 2% /run
tmpfs 942648 0 942648 0% /sys/fs/cgroup

# df | awk '/\/$/{print $4}' #以/结尾，\取消特殊含义，$以什么结尾的意思
7283964
-------------------------
BEGIN{ } 行前处理，读取文件内容前执行，指令执行1次
{ } 逐行处理，读取文件过程中执行，指令执行n次
END{ } 行后处理，读取文件结束后执行，指令执行1次
-----------------------
# awk 'BEGIN{a=2;print a*2}' #不同的命令用；来分隔
4

# awk 'BEGIN{a=2;print a-2}' #可以用常量，也可以用变量
0

# awk 'BEGIN{a=2;print 2+2}' #也可以是不相关的命令
4

# awk 'BEGIN{a=2;print "abc"}'
abc
-------------------------
# awk 'BEGIN{x=0}/bash$/{x++}END{print x}' /etc/passwd #查找能够登陆的用户有多少个
6

# grep bash /etc/passwd | cat -n
1 root:x:0:0:root:/root:/bin/bash
2 student:x:1000:1000:Student User:/home/student:/bin/bash
3 harry:x:1001:1001::/home/harry:/bin/bash
4 kenji:x:1002:1002::/home/kenji:/bin/bash
5 chihiro:x:1003:1003::/home/chihiro:/bin/bash
6 ttt:x:1004:1004::/home/ttt:/bin/bash
--------------------------
awk [选项] '[条件]{指令}' 文件
awk [选项] ' BEGIN{指令} {指令} END{指令}' 文件

awk 'BEGIN{} 条件{} END{}' 文件
---------------------------------
\t 代表tab键
column -t 相当于\t

# head -4 /etc/passwd | cat -n
1 root:x:0:0:root:/root:/bin/bash
2 bin:x:1:1:bin:/bin:/sbin/nologin
3 daemon:x:2:2:daemon:/sbin:/sbin/nologin
4 adm:x:3:4:adm:/var/adm:/sbin/nologin

awk -F: 'BEGIN{"User\t Uid\t Home"}{print $1"\t",$3"\t",$6"\t"}END{print "总用户量:" NR}' /etc/passwd
root 0 /root
bin 1 /bin
daemon 2 /sbin
总用户量:2

# awk -F: 'BEGIN{print "User UID Home"}{print $1,$3,$6}END{print "总用户量:" NR}' /etc/passwd | column -t
User UID Home
root 0 /root
bin 1 /bin
daemon 2 /sbin
adm 3 /var/adm
---------------------------------------
输出root或adm账户的用户名和UID信息：

]# awk -F: '
> /^(root|adm)/{print $1,$3}
> ' /etc/passwd
root 0
adm 3
--------------------------
awk默认支持正则
~代表模糊匹配

# awk -F: '$1~/root/' /etc/passwd #打印第1列包含root的列，～代表模糊查询
---------------------------
！取反
正则最大的优势是模糊匹配

输出登录Shell不以nologin结尾（对第7个字段做!~反向匹配）的用户名、登录Shell信息：

# awk -F: '$7!~/nologin/' /etc/passwd
---------------------------------
以bash结尾的行：
# awk -F: '/bash$/{print}' /etc/passwd

包含root的行：
# awk '/root/' /etc/passwd
# awk '/root/{print}' /etc/passwd

# grep "root" /etc/passwd

输出root或adm账户的用户名和UID信息
# awk -F: '/(root|adm)/{print $1,$3}' /etc/passwd

输出账户名称包含root的基本信息（第1列包含root）
# awk '$1~/root/' /etc/passwd

# awk -F: '$7!~/nologin$/' /etc/passwd

输出登录Shell不以nologin结尾（对第7个字段做!~反向匹配）的用户名、登录Shell信息
# awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd
---------------------------------
使用数值/字符串比较设置条件

比较符号：==(等于) !=（不等于） >（大于）
>=（大于等于） <（小于） <=（小于等于）

不加引号是变量，打了引号是常量。
""代表精确匹配

NR 代表行
&& 并且
|| 或者
--------------------------------
用户名是“root”的行：
# awk -F: '$1=="root"' /etc/passwd

输出第3行，（行号NR等于3）的行
# awk 'NR==3' /etc/passwd

第3行的第3列
# awk -F: 'NR==3{print $3}' /etc/passwd

用户UID大于等于1000的行
# awk -F: '$3>=1000' /etc/passwd

用户UID小于10的用户名和UID信息
# awk -F: '$3<10{print $1,$3}' /etc/passwd
----------------------------------
逻辑测试条件

用户UID大于等于1000，并且小于等于1002的行：
# awk -F: '$3>=1000 && $3<=1002' /etc/passwd

用户UID是1000或者是1002的行：
# awk -F: '$3==1000 || $3==1003' /etc/passwd
-------------------------------------
数学运算

# awk 'BEGIN{x++;print x}'
1
# awk 'BEGIN{x=8;print x+=2}'
10
# awk 'BEGIN{x=8;x--;print x}'
7
# awk 'BEGIN{print 2+3}'
5
# awk 'BEGIN{print 2*3}'
6
# awk 'BEGIN{print 23%8}'
7

找200以内3的倍数
# seq 200 | awk '$1%3==0'
------------------------------------
指令不写，默认打印全部

闰年，能被4整除，并且不能被100整除

找2050年以内的闰年有哪些？
# seq 2050 | awk '$1%4==0 && $1%100!=0'
---------------------------------------
cal命令详解(显示日历)
# cal 1752

显示当前月份的日历
#cal

显示指定年份的日历
# cal 2017

显示指定月份的日历
命令：cal 9 2012

显示当前月份，并且星期一显示在第一列
命令：cal -m

显示当前月份，并且显示天数，在当年中的第几天（一年日期按天算，从1月1号算起，默认显示当前月在一年中的天数）
命令：cal -j
---------------------------------------
列出100以内整数中7的倍数或是含7的数
# seq 100 | awk '$1%7==0 || $1~/7/'
---------------------------------------
# cat 1.sh
#!/bin/bash
u=`awk -F: '/bash$/{print $1}' /etc/passwd`

for i in $u
do
pass1=`grep $i /etc/shadow`
pass2=${pass1#*:}
pass3=${pass2%%:*}
echo "$i---$pass3"
done
--------------------------------------
# chmod +x 1.sh

# /root/1.sh
root---$6$UiGI4Tc2$htsXYn5cJnOqv3P1VLcUSgfjDu2pL5yiJBuua6foZAHdwqeuLHfYUfS/vBn27Wjvoel8EJgtdsMjyquqvKAmf1
student---$6$8oIjLCsc$/n1iQXYh1E6.uOEuJKgioqAtmqm2TQmkJGF2RwyteIr1tIfrPdiRYgWe6Sjen5/eMij2uHM/a1tue/QRlo3X80
harry---!!
kenji---!!
--------------------------------------
=是赋值
==是对比
----------------------------------------
awk

awk ‘条件{指令}' 文件
if在awk中是判断语句，相当于是一个命令，必须要放在{}内
----------------------------------
单分支

if(){
命令
}
----------------------------------
双分支

if(){
命令
}
else{
命令
}
--------------------------------
统计/etc/passwd文件中UID大于1000的用户个数和系统用户（UID小于1000）的个数
# awk -F: '{if($3>=1000){x++}else{y++}} END{print x,y}' /etc/passwd
6 37
--------------------------------
awk有过滤和统计的功能
--------------------------------
# awk 'BEGIN{a[0]=11;a[1]=22;print a[1],a[0]}'
22 11

# awk 'BEGIN{a++;print a}'
1

# awk 'BEGIN{a0++;print a0}'
1

# awk 'BEGIN{a[0]++;print a[0]}'
1

# awk 'BEGIN{a[0]=11;a[1]=22;a[2]=33;for (i in a){print a[i]}}'
11
22
33
--------------------------------
awk数组

1）数组的语法格式
数组是一个可以存储多个值的变量，具体使用的格式如下：
定义数组的格式：数组名[下标]=元素值
调用数组的格式：数组名[下标]
遍历数组的用法：for(变量 in 数组名){print 数组名[变量]}。

注意，awk数组的下标除了可以使用数字，也可以使用字符串，字符串需要使用双引号：
# awk 'BEGIN{a["a"]=11;print a["a"]}'
11
---------------------------------
# ab -c 100 -n 100000 http://172.25.0.11
DOS攻击 DOS deny of service

# cat 2.txt
192.168.4.5
192.168.4.8
192.168.4.5
192.168.4.8
192.168.4.7
192.168.4.5

[root@server0 ~]# awk '{a[$1]++}END{for (i in a){print a[i],i}}' 2.txt
3 192.168.4.5
1 192.168.4.7
2 192.168.4.8

# awk '{a[$1]++}END{for (i in a){print a[i],i}}' 2.txt | sort -n #sort是排序，-n是告诉它这是数字
1 192.168.4.7
2 192.168.4.8
3 192.168.4.5
----------------------------------------
awk数组的使用
这个很重要，一定要记住，面试也经常考，而且工作时也经常用！！！
这个公式很重要！一定要记住！！
# awk '{a[$1]++}END{for (i in a){print a[i],i}}' 2.txt
sort是排序，-n是告诉它这是数字

分析Web日志的访问量排名，要求获得客户机的地址、访问次数，并且按照访问次数排名
5.2 方案

1）awk统计Web访问排名
在分析Web日志文件时，每条访问记录的第一列就是客户机的IP地址，其中会有很多重复的IP地址。因此只用awk提取出这一列是不够的，还需要统计重复记录的数量并且进行排序。
通过awk提取信息时，利用IP地址作为数组下标，每遇到一个重复值就将此数组元素递增1，最终就获得了这个IP地址出现的次数。
针对文本排序输出可以采用sort命令，相关的常见选项为-r、-n、-k。其中-n表示按数字顺序升序排列，而-r表示反序，-k可以指定按第几个字段来排序。

# who
(unknown) :0 2018-10-27 12:54 (:0)
root pts/0 2018-10-27 12:54 (172.25.0.250)
root pts/1 2018-10-27 18:17 (172.25.0.250)
root pts/2 2018-10-27 18:18 (172.25.0.250)

[root@server0 ~]# who |awk '{a[$1]++}END{for (i in a){print a[i],i}}'
3 root
1 (unknown)
-------------------------------------------------------

 

转载于:https://www.cnblogs.com/summer2/p/10788012.html