Linux sort uniq awk head 完成访问日志统计排序功能

我们开发时候经常会统计一些访问日志，访问日志中的url是海量的，并且好多是重复内容。以url为例，统计url中出现频率次数前5的url，并按出现次数的降序排序。

linux命令：cat url.log | sort | uniq -c |sort -n -r -k 1 -t   ' ' | awk -F  '//'  '{print $2}'

现在来一一分析这些命令组合的含义。

0）访问日志样例

1) cat  t1.log

表示对data文件中的内容进行排序。sort命令是对于每一行的内容根据字典序（ASCII码）进行排序，这样可以保证重复的记录时相邻的。

2) cat  t1.log | sort | uniq -c

这里，通过管道（|）将左边部分的命令的输出作为右边部分的输入。uniq -c 表示合并相邻的重复记录，并统计重复数。因为uniq -c 只会合并相邻的记录，所以在使用该命令之前需要先排序。

3) cat  t1.log | sort | uniq -c | sort -k 1 -n -r

经过uniq -c 处理之后的数据格式形如"2 data"，第一个字段是数字，表示重复的记录数；第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序，这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII，这就会导致按从大到小进行排序时，数值2会排在数值11的前面，所以需要使用-n 参数指定sort命令按照数值大小进行排序。-r 表示逆序，即按照从大到小的顺序进行排序。

4) cat  t1.log | sort  | uniq -c | sort -k 1 -n -r | awk -F '//'  '{print  $2}'

经过sort data | uniq -c | sort -k 1 -n -r 处理后的文本是 http://192.168.1.100 这样的格式，我们需要的结果是192.168.1.100这样的格式，需要去掉http://这些字段，采用awk才处理，awk -F '//' 是将http://192.168.1.100分组成2部分 http://  和 192.168.1.100，{print  $2}的作用是取数组的第二部分，即192.168.1.100

5) cat  t1.log | sort | uniq -c | sort -k 1 -n -r | awk -F '//'  '{print  $2}'| head -5

head 命令表示选取文本的前x行。通过head -5 就可以得到排序结果中前五行的内容。

6）上面http://192.168.1.100这样日志格式只是一个简单的示例，实际中的格式会比较复杂 如：/Get   http://192.168.1.100  /auth, 我们可以通过awk -F 或者cut  -k 命令来截取url。详情参考awk、cut 命令使用方法。

参考文献：http://www.linuxidc.com/Linux/2011-01/31347.htm