答案如下:
# 利用linux自带命令:sort、awk、grep、head、uniq组合得出相应的答案
awk '{print $1}' | grep 'www.xxxx.com' access.log | sort | uniq -c | sort -nr -k1 | head -n 10
命令说明
awk命令说明
AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创 始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。
语法如下:awk [选项参数] 'script' var=value file(s)
或
awk [选项参数] -f scriptfile var=value file(s)基本用法
test.log1 hello world!
2 php mysql
3 java javascript
4 golang c用法一:
awk '{[pattern] action}' {filenames} # 行匹配语句 awk '' 只能用单引号
示例:
# 每行按照tab或者空格分割,输出文本中的1、2项
$ awk '{print $1 $2}' test.log# 输出
1 hello
2 php
3 java
4 golang用法二:
# -F相当于内置变量FS, 指定分割字符awk -F{分隔符}
示例:
# 使用分隔符awk -F: '{print $1 $2}' test.log# 输出
1 hello
2 php
3 java
4 golang还有一些其他用法,比如设置变量,在awk -v后面跟变量名并且赋值,然后输出,比如:
awk -va=1 '{print $1,$1+a}' test .logawk -va=1 -vb=3 '{print $1,$1+a,$b}' test.log
还有awk脚本的方式等等,后面两种不常用,如果想了解可以自行查找资料学习,这里主要说明第一种和第二种用法。
grep命令说明
在linux中grep命令用于查找文件中符合条件的字符串,通常搭配ps -ef | grep 'xxxx' xxx.log等命令配合使用。
语法:grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]
具体参数信息可以通过grep --help命令查看
这里列举几种常用的用法# 查看符合条件的日志条目grep -n '2019-10-24 00:01:11' *.log# 在当前目录下第一级文件夹中寻找包含指定字符串的文件grep "main" /.in# 利用正则表达式匹配文件内容所在的行grep –e "正则表达式" 文件名# 查找时不区分大小写grep –i "被查找的字符串" 文件名# 从根目录开始查找所有扩展名为 .log 的文本文件,并找出包含 "ERROR" 的行find / -type f -name "*.log" | xargs grep "ERROR"# 从当前目录开始查找所有扩展名为 .in 的文本文件,并找出包含 "thermcontact" 的行find . -name "*.in" | xargs grep "thermcontact"# 还有很多使用方式可以自行查找
uniq命令说明
Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用。uniq 可检查 文本文件中重复出现的行列。
语法:uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]# 参数详情查看uniq --help
示例:
# 文件test.txt中第1、4、7、9行为相同行,使用uniq命令可以删除重复行uniq test.txt# 检查文件并删除文件中重复出现的行,并在行首显示该行重复出现的次数uniq -c test.txt# 当重复行不是连续并且不相邻的时候uniq不起作用,这时可以搭配sort命令一起使用sort test.txt | uniq
sort命令说明
Linux sort命令用于将文本文件内容加以排序。sort可针对文本文件的内容,以行为单位来排序。
语法:sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]# 参数详情查看sort --help
示例
# 使用sort命令以默认的方式对文件的行进行排序sort test.txt
head命令说明
head 命令可用于查看文件的开头部分的内容,有一个常用的参数 -n 用于显示行数,默认为 10,即显示 10 行的内容。
语法head [参数] [文件] # 参数详情查看head --help
示例
# 显示日志文件前10行head access.log# 显示日志文件开头前5行head -n 5 access.log# 显示文件前20个字节head -c 20 access.log