awk的应用

awk ‘{print “内容” > “文件名”}’ 文件名 #使用AWK打印内容追加到文件里面

awk ‘{ip[$1]++} END{for(i in ip）{print ip[i],i}}’ /var/log/httpd/access_log | sort -n
统计访问http服务次数的IP地址公式必背

编写安全检测脚本
4.1 问题
本案例要求编写脚本，防止远程ssh暴力破解密码，具体监控项目要求如下：
检测ssh登录日志，如果远程登陆账号名错误3次，则屏蔽远程主机的IP
检测ssh登录日志，如果远程登陆密码错误3次，则屏蔽远程主机的IP
4.2 步骤
实现此案例需要按照如下步骤进行。
步骤一：准备工作
1）过滤帐户名失败的命令(登陆日志文件为/var/log/secure)
[root@svr5 ~]# awk ‘/Invalid user/{print $10}’ /var/log/secure
2）过滤密码失败的命令
[root@svr5 ~]# awk ‘/Failed password/{print $11}’ /var/log/secure
步骤二：编写参考脚本
1）脚本内容如下：
[root@svr5 ~]# vim test.sh
#!/bin/bash
awk ‘/Failed password/{print $11}’ /var/log/secure | awk ‘{ip[$1]++}END{for(i in ip){print ip[i],i}}’ | awk ‘$1>3{print $2}’
awk ‘/Invalid user/{print $10}’ /var/log/secure | awk ‘{ip[$1]++}END{for(i in ip){print ip[i],i}}’ | awk ‘$1>3{print $2}’

awk
相关命令：sed
awk是linux下的一个命令，他对其他命令的输出，对文件的处理都十分强大，其实他更像一门编程语言，他可以自定义变量，有条件语句，有循环，有数组，有正则，有函数等。他读取输出，或者文件的方式是一行，一行的读，根据你给出的条件进行查找，并在找出来的行中进行操作，感觉他的设计思想，真的很简单，但是结合实际情况，具体操作起来就没有那么简单了。他有三种形势，awk，gawk，nawk，平时所说的awk其实就是gawk。
选项
-F 紧跟分隔符，表示读入的字段以输入的分隔符分割
-v 进入变量模式 可以进行变量的赋值及调用（调用不需要加$符）
1，变量
变 量 描述
$n 当前记录的第n个字段，字段间由 FS分隔。
$0 完整的输入记录。
ARGC 命 令行参数的数目。
ARGIND 命令行中当前文件的位置(从0开始算)。
ARGV 包 含命令行参数的数组。
CONVFMT 数字转换格式(默认值为%.6g)
ENVIRON 环 境变量关联数组。
ERRNO 最后一个系统错误的描述。
FIELDWIDTHS 字 段宽度列表(用空格键分隔)。
FILENAME 当前文件名。
FNR 同 NR，但相对于当前文件。
FS 字段分隔符(默认是任何空格)。
IGNORECASE 如 果为真，则进行忽略大小写的匹配。
NF 当前记录中的字段数。
NR 当 前记录数。
OFMT 数字的输出格式(默认值是%.6g)。
OFS 输 出字段分隔符(默认值是一个空格)。
ORS 输出记录分隔符(默认值是一个换行符)。
RLENGTH 由 match函数所匹配的字符串的长度。
RS 记录分隔符(默认是一个换行符)。
RSTART 由 match函数所匹配的字符串的第一个位置。
SUBSEP 数组下标分隔符(默认值是\034)。

2，运算符
运算符 描述
= += -= *= /= %= ^= **= 赋值
?: C条件表达式
|| 逻 辑或
&& 逻辑与
~ ~! 匹 配正则表达式和不匹配正则表达式
< <= > >= != == 关 系运算符
空格 连接

• • 加，减

• / & 乘，除与求余

• • ! 一元加，减和逻辑非
    ^ *** 求幂
    ++ – 增加或减少，作为前缀或后缀
    $ 字 段引用
    in 数组成员

3，awk的正则
匹配符 描述
\Y 匹配一个单词开头或者末尾的空字符串
\B 匹配单词内的空字符串
< 匹配一个单词的开头的空字符串，锚定开始
> 匹配一个单词的末尾的空字符串，锚定末尾
\W 匹配一个非字母数字组成的单词
\w 匹配一个字母数字组成的单词
’ 匹配字符串末尾的一个空字符串
\‘ 匹配字符串开头的一个空字符串

4，字符串函数
函数名 描述
sub 匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
gsub 整个文档中进行匹配
index 返回子字符串第一次被匹配的位置，偏移量从位置1开始
substr 返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串
split 可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割
length 返回记录的字符数
match 返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
toupper和tolower 可用于字符串大小间的转换，该功能只在gawk中有效

5，数学函数
函数名 返回值
atan2(x,y) y,x 范围内的余切
cos(x) 余弦函数
exp(x) 求 幂
int(x) 取整
log(x) 自然对 数
rand() 随机数
sin(x) 正弦
sqrt(x) 平 方根
srand(x) x是rand()函数的种子
int(x) 取 整，过程没有舍入
rand() 产生一个大于等于0而小于1的随机数

6，format的使用
要点：
1、其与print命令的最大不同是，printf需要指定format；
2、format用于指定后面的每个item的输出格式；
3、printf语句不会自动打印换行符；\n

format格式的指示符都以%开头，后跟一个字符；如下：
%c: 显示字符的ASCII码；
%d, %i：十进制整数；
%e, %E：科学计数法显示数值；
%f: 显示浮点数；
%g, %G: 以科学计数法的格式或浮点数的格式显示数值；
%s: 显示字符串；
%u: 无符号整数；
%%: 显示%自身；

修饰符：
N: 显示宽度；
-: 左对齐；
+：显示数值符号；

例1
测试文件test
root❌0:0:root:/root:/bin/bash
bin❌1:1:bin:/bin:/bin/false
daemon❌2:2:daemon:/sbin:/bin/false
mail❌8:12:mail:/var/spool/mail:/bin/false
ftp❌14:11:ftp:/home/ftp:/bin/false
&nobody:$:99:99:nobody:/:/bin/false
zhangy❌1000?,:/home/zhangy:/bin/bash
http❌33:33::/srv/http:/bin/false
dbus❌81:81:System message bus:/:/bin/false
hal❌82:82:HAL daemon:/:/bin/false
mysql❌89:89::/var/lib/mysql:/bin/false
aaa❌1001:1001::/home/aaa:/bin/bash
ba❌1002:1002::/home/zhangy:/bin/bash
test❌1003:1003::/home/test:/bin/bash
@zhangying:*:1004:1004::/home/test:/bin/bash
policykit❌102:1005:Po

例a
cat test | awk -F: ‘{
if ($1 == “root”){
print $1;
}else if($1 == “bin”){
print $2;
}else{
print $3;
}
}’

例b
awk ‘{
for(i=0;i<NF;i&#