awk
awk功能
NR代表行数，$n取某一列，$NF最后一列
NR==20,NR==30 从20行到30行
FS竖着切，列的分隔符
RS横着切，行的分隔符
语法
awk \[–F\] \[“\[分隔符\]”\] \[’{print$1，$NF}’\] \[目标文件\]
awk 'BEGIN{FS="\[列分隔符\]+";RS="\[行分隔符\]+";print "-GEGIN-"} NR==n{动作} END{print "-END-"}' xxx.txt
内置变量
$n 当前记录的第n个字段，字段间由 FS分隔。
$0 完整的输入记录。
ARGC 命 令行参数的数目。
ARGIND 命令行中当前文件的位置(从0开始算)。
ARGV 包 含命令行参数的数组。
CONVFMT 数字转换格式(默认值为%.6g)
ENVIRON 环 境变量关联数组。
ERRNO 最后一个系统错误的描述。
FIELDWIDTHS 字 段宽度列表(用空格键分隔)。
FILENAME 当前文件名。
FNR 同 NR，但相对于当前文件。
FS 字段分隔符(默认是任何空格)。
IGNORECASE 如 果为真，则进行忽略大小写的匹配。
NF 当前记录中的字段数。
NR 当 前记录数。
OFMT 数字的输出格式(默认值是%.6g)。
OFS 输 出字段分隔符(默认值是一个空格)。
ORS 输出记录分隔符(默认值是一个换行符)。
RLENGTH 由 match函数所匹配的字符串的长度。
RS 记录分隔符(默认是一个换行符)。
RSTART 由 match函数所匹配的字符串的第一个位置。
SUBSEP 数组下标分隔符(默认值是034)。
运算符
\= += -= \*= /= %= ^= \*\*= 赋值
?: C条件表达式
|| 逻 辑或
&& 逻辑与
~ ~! 匹 配正则表达式和不匹配正则表达式
< <= > >= != == 关 系运算符
空格 连接
\+ - 加，减
\* / & 乘，除与求余
\+ - ! 一元加，减和逻辑非
^ \*\*\* 求幂
++ -- 增加或减少，作为前缀或后缀
$ 字 段引用
in 数组成员
字符串函数
sub 匹配记录中最大、最靠左边的子字符串的正则表达式，并用替换字符串替换这些字符串。如果没有指定目标字符串就默认使用整个记录。替换只发生在第一次匹配的 时候
gsub 整个文档中进行匹配
index 返回子字符串第一次被匹配的位置，偏移量从位置1开始
substr 返回从位置1开始的子字符串，如果指定长度超过实际长度，就返回整个字符串
split 可按给定的分隔符把字符串分割为一个数组。如果分隔符没提供，则按当前FS值进行分割
length 返回记录的字符数
match 返回在字符串中正则表达式位置的索引，如果找不到指定的正则表达式则返回0。match函数会设置内建变量RSTART为字符串中子字符串的开始位 置，RLENGTH为到子字符串末尾的字符个数。substr可利于这些变量来截取字符串
toupper和tolower 可用于字符串大小间的转换，该功能只在gawk中有效
atan2(x,y) y,x 范围内的余切
cos(x) 余弦函数
exp(x) 求 幂
int(x) 取整
log(x) 自然对 数
rand() 随机数
sin(x) 正弦
sqrt(x) 平 方根
srand(x) x是rand()函数的种子
int(x) 取 整，过程没有舍入
rand() 产生一个大于等于0而小于1的随机数
例子
1、只查看 ett.txt 文件（共 100 行）内第 20 到第 30 行的内容
awk ‘NR>19&&NR<31’ ett.txt
awk ‘{ if (NR>19&&NR<31) print $0}’ ett.txt
给文件内容加行号
awk ‘{print NR,$0}’ /etc/inittab
输出第24行并且加行号
awk ‘NR==24 {print NR,$0}’ /etc/inittab4
标准写法
awk -F '\[ :\]+' 'NR==2{print $(NF-1)}' /etc/passwd
相当于
awk 'BEGIN{FS="\[ :\]+"}NR==2{print $(NF-1)}' /etc/passwd
awk 'BEGIN{RS="/"} {print $0}' /etc/passwd
以一个或多个/为行的分割符，打印第二行的第二列，列的分隔符为默认的空格,并打印行号
awk 'BEGIN{RS="\[/\]+"} NR==2{print NR,$2}' test
正则：
以：为分隔符，打印第5列以s开头的一整行awk -F “:” ‘$5~/^s/{print $0}’ /etc/passwd
以/为分隔符，匹配倒数第二行的s或者没有s后面是bin的整行
awk -F "/" '$(NF-1)~/(s|)bin/' /etc/passwd
匹配第一列以ssh或者ftp或mysql开头或者结尾的行
awk '$1~/^(ssh|ftp|mysql)$/{print $1,$2}' /etc/services
输出结果6 0 1 2
echo "6@@@@@@@@@@@@@@@0=============1##############2" |awk -F '\[@=#\]+' '{print $1,$2,$3,$4}'
awk统计百分比的问题
日志样子举例如下：
http://youku.com 200 http://youku.com 302 http://youku.com 403 http://youku.com 502 http://baidu.com 302 http://baidu.com 404
现想使用awk命令按域名统计 返回码大于等于400的百分比，假如优酷总共有4行，大于等于400的返回码有两行，那占比就为50%
awk '{
count\[$1\]++;
if($2>400)above400\[$1\]++
}
END{
for(i in count){
print i, count\[i\], above400\[i\]/count\[i\]}
}' < xxx.txt
比较
if 中 [ -a --> -z ]
\[ -a FILE \] 如果 FILE 存在则为真。
\[ -b FILE \] 如果 FILE 存在且是一个块特殊文件则为真。
\[ -c FILE \] 如果 FILE 存在且是一个字特殊文件则为真。
\[ -d FILE \] 如果 FILE 存在且是一个目录则为真。
\[ -e FILE \] 如果 FILE 存在则为真。
\[ -f FILE \] 如果 FILE 存在且是一个普通文件则为真。
\[ -g FILE \] 如果 FILE 存在且已经设置了SGID则为真。
\[ -h FILE \] 如果 FILE 存在且是一个符号连接则为真。
\[ -k FILE \] 如果 FILE 存在且已经设置了粘制位则为真。
\[ -p FILE \] 如果 FILE 存在且是一个名字管道(F如果O)则为真。
\[ -r FILE \] 如果 FILE 存在且是可读的则为真。
\[ -s FILE \] 如果 FILE 存在且大小不为0则为真。
\[ -t FD \] 如果文件描述符 FD 打开且指向一个终端则为真。
\[ -u FILE \] 如果 FILE 存在且设置了SUID (set user ID)则为真。
\[ -w FILE \] 如果 FILE 如果 FILE 存在且是可写的则为真。
\[ -x FILE \] 如果 FILE 存在且是可执行的则为真。
\[ -O FILE \] 如果 FILE 存在且属有效用户ID则为真。
\[ -G FILE \] 如果 FILE 存在且属有效用户组则为真。
\[ -L FILE \] 如果 FILE 存在且是一个符号连接则为真。
\[ -N FILE \] 如果 FILE 存在 and has been mod如果ied since it was last read则为真。
\[ -S FILE \] 如果 FILE 存在且是一个套接字则为真。
\[ FILE1 -nt FILE2 \] 如果 FILE1 has been changed more recently than FILE2, or 如果 FILE1 exists and FILE2 does not则为真。
\[ FILE1 -ot FILE2 \] 如果 FILE1 比 FILE2 要老, 或者 FILE2 存在且 FILE1 不存在则为真。
\[ FILE1 -ef FILE2 \] 如果 FILE1 和 FILE2 指向相同的设备和节点号则为真。
\[ -o OPTIONNAME \] 如果 shell选项 “OPTIONNAME” 开启则为真。
\[ -z STRING \] “STRING” 的长度为零则为真。
\[ -n STRING \] or \[ STRING \] “STRING” 的长度为非零 non-zero则为真。
\[ STRING1 == STRING2 \] 如果2个字符串相同。 “=” may be used instead of “==” for strict POSIX compliance则为真。
\[ STRING1 != STRING2 \] 如果字符串不相等则为真。
\[ STRING1 < STRING2 \] 如果 “STRING1” sorts before “STRING2” lexicographically in the current locale则为真。
\[ STRING1 > STRING2 \] 如果 “STRING1” sorts after “STRING2” lexicographically in the current locale则为真。
\[ ARG1 OP ARG2 \] “OP” is one of -eq, -ne, -lt, -le, -gt or -ge. These arithmetic binary operators return true if “ARG1” is equal to, not equal to, less than, less than or equal to, greater than, or greater than or equal to “ARG2”, respectively. “ARG1” and “ARG2” are integers.
字符串判断
str1 = str2 当两个串有相同内容、长度时为真
str1 != str2 当串str1和str2不等时为真
\-n str1 当串的长度大于0时为真(串非空)
\-z str1 当串的长度为0时为真(空串)
str1 当串str1为非空时为真
数字的判断
int1 -eq int2 两数相等为真
int1 -ne int2 两数不等为真
int1 -gt int2 int1大于int2为真
int1 -ge int2 int1大于等于int2为真
int1 -lt int2 int1小于int2为真
int1 -le int2 int1小于等于int2为真
文件的判断
\-r file 用户可读为真
\-w file 用户可写为真
\-x file 用户可执行为真
\-f file 文件为正规文件为真
\-d file 文件为目录为真
\-c file 文件为字符特殊文件为真
\-b file 文件为块特殊文件为真
\-s file 文件大小非0时为真
\-t file 当文件描述符(默认为1)指定的设备为终端时为真
复杂逻辑判断
\-a 与
\-o 或
! 非
统计一个文件的中所有的error的占比
awk '/error/{err++}END{print err,NR,err/NR\*100"%" }' < xxx.txt 12
关联数组访问问题
a.txt和b.txt两个文件相同的两个字段（id|money）,输出a和b文件中相同id并且b文件money值大的一行
cat >>a.txt <<EOF
1|13|35|57|79|9
ROF
cat >>b.txt<<EOF
1|12|23|304|45|56|67|708|89|910|10
EOF
awk -F '|' 'BEGIN{ while(getline < "a.txt") { user\_map\[$1\] = $2; } }{
if ($1 in user\_map) {if (user\_map\[$1\] < $2) print $0; }}' b.txt
注意：如果a.txt不存在，getline会返回-1，导致死循环。我以前曾经碰上过因为这个原因导致程序挂死，所以特别提出来让大家注意
tomcat并发数
netstat -an|grep 10050|awk '{count\[$6\]++} END{for (i in count) print(i,count\[i\])'
sed
sed功能
Sed是Strem Editor(流编辑器)缩写，是操作、过滤和转换文本内容的强大工具。常用功能有增删改查，过滤，取行。
参数
\-n #取消默认输出
\-r #使用扩展正则
\-i #刷到磁盘
\-e #执行多条sed指令
\-f #指令放在文件里
指令
a 追加
i 插入
d 删除
c 替换指定的行
s 替换每一行匹配到的第一个字符
g 替换每一行的全部
p 输出
w 另存文件
e 执行bash命令
q 不继续往下读取
流程
sed 读取文件是逐行读取处理输出
增删改查
增
单行增加
sed '2a 106,dandan,CSO' person.txt
sed '2i 106,dandan,CSO' person.txt
多行增加
sed '2a 106,dandan,CSOn107,bingbing,CCO' person.txt
例子
Port 52113
PermitRootLogin no
PermitEmptyPasswords no
UseDNS no
GSSAPIAuthentication no
现在想一条命令增加5行文本到第13行前(地址用逗号分隔的，n1,n2可以用数字、正则表达式、或二者的组合表示)
sed -ir '13 i zbcdnPort 52113nPermitRootLogin nonPermitEmptyPasswords nonUseDNS nonGSSAPIAuthentication non#####--end--#######n' /etc/ssh/sshd\_config
其他例
-
10{sed-commands} 对第10行操作
-
10,20{sed-commands} 对10到20行操作,包括第10,20行
-
10,+20{sed-commands} 对10到30(10+20)行操作,包括第10,30行
-
1~2{sed-commands} 对1,3,5,7,……行操作
-
10, s e d − c o m m a n d s 对 10 到最后一行 ( {sed-commands} 对10到最后一行( sed−commands对10到最后一行(代表最后一行)操作,包括第10行
-
/oldboy/{sed-commands} 对匹配oldboy的行操作
-
/oldboy/,/Alex/{sed-commands} 对匹配oldboy的行到匹配Alex的行操作
*
-
/oldboy/,${sed-commands} 对匹配oldboy的行到最后一行操作
-
/oldboy/,10{sed-commands} 对匹配oldboy的行到第10行操作，注意：如果前10行没有匹配到oldboy，sed软件会显示10行以后的匹配oldboy的行，如果有1,/Alex/{sed-commands} 对第1行到匹配Alex的行操作
*
- /oldboy/,+2{sed-commands} 对匹配oldboy的行到其后的2行操作
删除
删除指定的行
-
sed ‘d’ person.txt #删除全部
-
sed ‘2d’ person.txt #删除第二行
-
sed ‘2,5d’ person.txt #删除2到5行
-
sed ‘3,$d’ person.txt #删除3到结尾
-
sed ‘1~2d’ person.txt #删除1,3,5行
-
sed ‘1,+2d’ person.txt #删除1,2,3
-
sed ‘/zhangyao/d’ person.txt #删除匹配的zhangyao行
-
sed ‘/oldboy/,/Alex/d’ person.txt #删除匹配oldboy到Alex行
-
sed ‘/oldboy/,3d’ person.txt #删除从匹配oldboy的3行
打印文件内容但不包含oldboy
sed '/oldboy/d' person.txt #删除包含"oldboy"的行
更改
按行替换c 用新行取代旧行
sed '2c 106,dandan,CSO' person.txt #替换第2行的内容
文本替换s：单独使用，将每一行中第一处匹配的字符串进行替换
-
g：每一行进行全部替换
-
-i：修改文件内容
sed软件替换模型(方框▇被替换成三角▲)
sed -i 's/▇/▲/g' oldboy.log
sed -i 's#▇#▲#g' oldboy.log
指定行修改配置文件
指定行精确修改配置文件，这样可以防止修改多了地方。
sed '3s#0#9#' person.txt
变量替换
x=a
y=b
echo $x $y
sed s#$x#$y#g test.txt
分组替换( )和1的使用说明
sed软件的( )的功能可以记住正则表达式的一部分，其中，1为第一个记住的模式即第一个小括号中的匹配内容，2第二记住的模式，即第二个小括号中的匹配内容，sed最多可以记住9个。
例：echo I am oldboy teacher.如果想保留这一行的单词oldboy，删除剩下的部分，使用圆括号标记想保留的部分。
echo I am oldboy teacher. |sed 's#^.\*am (\[a-z\].\*) tea.\*$#1#g'
echo I am oldboy teacher. |sed -r 's#^.\*am (\[a-z\].\*) tea.\*$#1#g'
echo I am oldboy teacher. |sed -r 's#I (.\*) (.\*) teacher.#12#g'
命令说明
思路：用oldboy字符替换I am oldboy teacher.
下面解释用□代替空格
^.\*am□ –>这句的意思是以任意字符开头到am□为止，匹配文件中的I am□字符串;
(\[a-z\].\*)□–>这句的外壳就是括号(），里面的\[a-z\]表示匹配26个字母的任何一个，\[a-z\].\*合起来就是匹配任意多个字符，本题来说就是匹配oldboy字符串，由于oldboy字符串是需要保留的,因此用括号括起来匹配，后面通过1来取oldboy字符串。
□tea.\*$–>表示以空格tea起始,任意字符结尾，实际就是匹配oldboy字符串后，紧接着的字符串□teacher.;
后面被替换的内容中的1就是取前面的括号里的内容了，也就是我们要的oldboy字符串。
()是扩展正则表达式的元字符，sed软件默认识别基本正则表达式，想要使用扩展正则需要使用转义，即(）。
sed使用-r选项则可以识别扩展正则表达式，此时使用(）反而会出错。
#####系统开机启动项优化
chkconfig --list|grep "3:on"|grep -vE "sshd|crond|network|rsyslog|sysstat"|awk '{print $1}'|sed -r 's#^(.\*)#chkconfig 1 off#g'|bash
chkconfig --list|grep "3:on"
特殊符号&代表被替换的内容#→将1到3行的C替换为–C–
sed '1,3s#C#--&--#g' person.txt #→此处&等于C
批量重命名文件
for i in \`seq 5\`;do touch stu\_102999\_${i}\_finished.jpg;done
ls |sed -r 's/(.\*)\_finished(.\*)/mv & 1\_finish2/e'
查
p 输出指定内容，但默认会输出2次匹配的结果，因此使用n取消默认输出
按行查询
sed '2p' person.txt
sed -n '2p' person.txt
sed -n '2,3p' person.txt
sed -n '1~2p' person.txt
sed -n 'p' person.txt
按字符串查询
sed -n '/CTO/p' person.txt
sed -n '/CTO/,/CFO/p' person.txt
混合查询
sed -n '2,/CFO/p' person.txt
sed -n '/feixue/,2p' person.txt
特殊情况，前两行没有匹配到feixue，就向后匹配，如果匹配到feixue就打印此行
其他功能
备份功能
sed -i.bak '$a 1111111111' xxx.txt
备份xxx.txt文件为xxx.txt.bak，修改源文件，最后一行添加111111111
另存功能
sed 's/sb/SB/g w new.txt' xxx.txt
把sb替换成SB的整行输出到new.txt中
大小写转换
L #全部转换成小写
l #单个转换成小写
U #全部转换成大写
u #单个转换成大写
E #需要和U和L一起使用，关闭U和L的功能
sed -r 's/(.\*),(.\*),(.\*)/L3,E1,U2/g' xxx.txt
执行多条sed指令
sed -e '3,$d' -e 's#10#01#g' xxx.txt
sed '3,$d; s#10#01#g' xxx.txt
打印不可见字符l
sed -n 'l' xxx.txt
abc替换ABC（一一对应）
tr 'abc' 'ABC' xxx.txt
sed 'y#abc#ABC#' xxx.txt
可以操作多个文件
sed 'y#abc#ABC#' xxx.txt 222.txt
模拟其他命令
创建svn库的时候自动取消#号和修改路径
sed -i -r '12,13s/# //g' svnserve.conf
sed -i -r '20s/^# (.\*)/1/g' svnserve.conf
sed -i -r '27s/^# (.\*)/1/g' svnserve.conf
sed -i -r '12,13s/^# (.\*)/1/g' svnserve.conf
sed -i -r '32s/# (.\*=)(.\*)/1 /usr/svnData//' svnserve.conf
一条命令执行（加传参）
SvnPath='zhangzhicheng'sed -i -r -e '20s/^# (.\*)/1/g' -e '27s/^# (.\*)/1/g' -e '12,13s/^# (.\*)/1/g' -e "32s/# (.\*=)(.\*)/1 /usr/svnData/$SvnPath/" svnserve.conf
grep
grep功能
搜索文本，过滤文本字符串 –v取反
选项
参数选项
| 参数选项 |解释说明（带※的为重点） |
| — | — |
| -V|取反，读出指定的内容之外的内容 |
| -A | 打印后面n行的内容 |
| -B| 打印前面n行的内容 |
| -C|打印前后各n行的内容 |
| -n|输出行行号 |
| -E(egrep)|使用扩展正则表达式 |
| -o |只输出匹配到的结果 |
|-i|忽略大小写|
|-a|当grep认为是二进制文件的时候加-a|
基础例子
已知文件 test.txt 内容为xxx 请给出输出 test.txt 文件内容时，不包含 oldboy 字符串的命令。
test
liyao
oldboy
grep –v oldboy test.txt
过滤出/etc/services 文件包含 3306 或 1521 两数据库端口的行的内容
grep –E “3306|1521” /etc/services
技巧例子
消除文件空行:
grep -v '^$' test.txt
egrep -o "^\[^:\]+" xxx.txt #匹配开头以非：的行，并输出匹配的内容（-o不是整行输出）
为了帮助大家更好的学习网络安全，我给大家准备了一份网络安全入门/进阶学习资料，里面的内容都是适合零基础小白的笔记和资料，不懂编程也能听懂、看懂这些资料！
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取
CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享
因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取
扫一扫
13万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
