Linux统计日志相关命令

对于运维或者开发人员来源，对于日志的统计和搜索是必会的技能，甚至在面试的时候是必问的问题，对此，做一下总结。

一、常用到的命令

1、cat

2、awk

具体见 http://man.linuxde.net/awk

一、语法形式 

awk [options] 'script' var=value file(s) 

awk [options] -f scriptfile var=value file(s) 

常用命令选项

 -F fs   fs指定输入分隔符，fs可以是字符串或正则表达式，如-F: 

 -v var=value   赋值一个用户定义变量，将外部变量传递给awk 

 -f scripfile  从脚本文件中读取awk命令 

 -m[fr] val   对val值设置内在限制，-mf选项限制分配给val的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。

二、 awk内置变量（预定义变量）

 说明：[A][N][P][G]表示第一个支持变量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk

 $n 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。

 $0 这个变量包含执行过程中当前行的文本内容。 

[N] ARGC 命令行参数的数目。 

[G] ARGIND 命令行中当前文件的位置（从0开始算）。

[N] ARGV 包含命令行参数的数组。 

[G] CONVFMT 数字转换格式（默认值为%.6g）。 

[P] ENVIRON 环境变量关联数组。 

[N] ERRNO 最后一个系统错误的描述。 

[G] FIELDWIDTHS 字段宽度列表（用空格键分隔）。 

[A] FILENAME 当前输入文件的名。 

[P] FNR 同NR，但相对于当前文件。

[A] FS 字段分隔符（默认是任何空格）。 

[G] IGNORECASE 如果为真，则进行忽略大小写的匹配。 

[A] NF 表示字段数，在执行过程中对应于当前的字段数。 

[A] NR 表示记录数，在执行过程中对应于当前的行号。 

[A] OFMT 数字的输出格式（默认值是%.6g）。

[A] OFS 输出字段分隔符（默认值是一个空格）。 

[A] ORS 输出记录分隔符（默认值是一个换行符）。 

[A] RS 记录分隔符（默认是一个换行符）。 

[N] RSTART 由match函数所匹配的字符串的第一个位置。 

[N] RLENGTH 由match函数所匹配的字符串的长度。 

[N] SUBSEP 数组下标分隔符（默认值是34）。

打印每一行的第二和第三个字段：

 awk '{ print $2,$3 }' filename 

统计文件中的行数： 

awk 'END{ print NR }’ filename

三、 awk的工作原理 

awk 'BEGIN{ commands } pattern{ commands } END{ commands }’ 

第一步：执行BEGIN{ commands }语句块中的语句；

第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。 

第三步：当读至输入流末尾时，执行END{ commands }语句块。 BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。 END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。 pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。 示例 echo -e "A line 1nA line 2" | awk 'BEGIN{ print "Start" } { print } END{ print "End" }' Start A line 1 A line 2 End 当使用不带参数的print时，它就打印当前行，当print的参数是以逗号进行分隔时，打印时则以空格作为定界符。在awk的print语句块中双引号是被当作拼接符使用，例如： echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1,var2,var3; }' v1 v2 v3 双引号拼接使用： echo | awk '{ var1="v1"; var2="v2"; var3="v3"; print var1"="var2"="var3; }' v1=v2=v3 { }类似一个循环体，会对文件中的每一行进行迭代，通常变量初始化语句（如：i=0）以及打印文件头部的语句放入BEGIN语句块中，将打印的结果等语句放在END语句块中。

3、sort -r

sort命令是帮我们依据不同的数据类型进行排序，其语法及常用参数格式：

　　 sort [-bcfMnrtk][源文件][-o 输出文件] 

补充说明：sort可针对文本文件的内容，以行为单位来排序。

参　　数：

  -b   忽略每行前面开始出的空格字符。

  -c   检查文件是否已经按照顺序排序。

  -f   排序时，忽略大小写字母。

  -M   将前面3个字母依照月份的缩写进行排序。

  -n   依照数值的大小排序。

  -o<输出文件>   将排序后的结果存入指定的文件。

  -r   以相反的顺序来排序。

  -t<分隔字符>   指定排序时所用的栏位分隔字符。

  -k  选择以哪个区间进行排序。

  ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

4、uniq -c

文字

uniq 是LINUX命令

用途

报告或删除文件中重复的行。

语法

uniq [ -c | -d | -u ] [ -f Fields ] [ -s Characters ] [ -Fields ] [ +Characters ] [ InFile [ OutFile ] ]

描述

uniq 命令删除文件中的重复行。

uniq 命令读取由 InFile 参数指定的标准输入或文件。该命令首先比较相邻的行，然后除去第二行和该行的后续副本。重复的行一定相邻。（在发出 uniq 命令之前，请使用 sort 命令使所有重复行相邻。）最后，uniq 命令将最终单独的行写入标准输出或由 OutFile 参数指定的文件。InFile 和 OutFile 参数必须指定不同的文件。如果输入文件用“- ”表示，则从标准输入读取；输入文件必须是文本文件。文本文件是包含组织在一行或多行中的字符的文件。这些行的长度不能超出 2048 个字节（包含所有换行字符），并且其中不能包含空字符。

缺省情况下，uniq 命令比较所有行。如果指定了-f Fields 或 -Fields 标志, uniq 命令忽略由 Fields 变量指定的字段数目。 field 是一个字符串，用一个或多个 <空格 > 字符将它与其它字符串分隔开。

如果指定了 -s Characters 或 -Characters 标志, uniq 命令忽略由 Characters 变量指定的字段数目。为 Fields 和 Characters 变量指定的值必须是正的十进制整数。

当前本地语言环境决定了 -f 标志使用的 <空白> 字符以及 -s 标志如何将字节解释成字符。

如果执行成功，uniq 命令退出，返回值 0。否则，命令退出返回值大于 0。

标志

-c 在输出行前面加上每行在输入文件中出现的次数。

-d 仅显示重复行。

-u 仅显示不重复的行。

-f Fields 忽略由 Fields 变量指定的字段数目。如果 Fields 变量的值超过输入行中的字段数目, uniq 命令用空字符串进行比较。这个标志和 -Fields 标志是等价的。

-s Characters 忽略由 Characters 变量指定的字符的数目。如果 Characters 变量的值超过输入行中的字符的数目, uniq 用空字符串进行比较。如果同时指定 -f 和 -s 标志, uniq 命令忽略由 -s Characters 标志指定的字符的数目，而从由 -f Fields 标志指定的字段后开始。 这个标志和 +Characters 标志是等价的。

-Fields 忽略由 Fields 变量指定的字段数目。这个标志和 -f Fields 标志是等价的。

+Characters 忽略由 Characters 变量指定的字符的数目。如果同时指定 - Fields 和 +Characters 标志, uniq 命令忽略由 +Characters 标志指定的字符数目，并从由 -Fields 标志指定的字段后开始。 这个标志和 -s Characters 标志是等价的。

- c 显示输出中，在每行行首加上本行在文件中出现的次数。它可取代- u和- d选项。

- d 只显示重复行 。

- u 只显示文件中不重复的各行 。

- n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开（字段从0开始编号）。

+ n 前n个字符被忽略，之前的字符被跳过（字符从0开始编号）。

- f n 与- n相同，这里n是字段数。

- s n 与＋n相同，这里n是字符数。

退出状态

该命令返回以下退出值：

0 命令运行成功。

>0 发生错误。

补充

文件经过处理后在它的输出文件中可能会出现重复的行。例如，使用cat命令将两个文件合并后，再使用sort命令进行排序，就可能出现重复行。这时可以使用uniq命令将这些重复行从输出文件中删除，只留下每条记录的唯一样

示例

要删除名为 fruit 文件中的重复行并将其保存到一个名为 newfruit 的文件中，输入：

uniq fruit newfruit

如果 fruit 文件包含下列行:

apples

apples

peaches

pears

bananas

cherries

cherries

则在您运行uniq 命令后 newfruit 文件将包含下列行:

apples

peaches

pears

bananas

cherries

文件/usr/bin/uniq 包含 uniq 命令。

# uniq -c  的用法，例如：

harley

casely

weedly

harley

linda

#cut -c 1-8 | sort | uniq -c > result.txt

1 casely

2 harley

1 linda

1 weekly

1. 显示文件example中不重复的行。

uniq - u example

2. 显示文件example中不重复的行，从第2个字段的第2个字符开始做比较。

uniq - u - 1 +1 example

5、head

6、tail

7、less

8、cut

cut 命令可以从一个文本文件或者文本流中提取文本列。

[root@www ~]# cut -d ' 分隔字符 ' -f fields <== 用于有特定分隔字符

[root@www ~]# cut -c 字符区间            <== 用于排列整齐的信息

选项与参数：

-d  ：后面接分隔字符。与 - f 一起使用；

-f  ：依据 -d 的分隔字符将一段信息分割成为数段，用 - f 取出第几段的意思；

-c  ：以字符 (characters) 的单位取出固定字符区间；

  PATH 变量如下

[root@www ~]# echo $PATH

/bin:/usr/bin:/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/ games

# 1 | 2 | 3 | 4  | 5 | 6 | 7

  将 PATH 变量取出，我要找出第五个路径。

# echo $PATH | cut -d ' : ' -f 5

/usr/local/bin

  将 PATH 变量取出，我要找出第三和第五个路径。

# echo $PATH | cut -d ' : ' -f 3 , 5

/sbin:/usr/local/bin

  将 PATH 变量取出，我要找出第三到最后一个路径。

echo $PATH | cut -d ' : ' -f 3 -

/sbin:/usr/sbin:/usr/local/bin:/usr/X11R6/bin:/usr/ games

  将 PATH 变量取出，我要找出第一到第三个路径。

# echo $PATH | cut -d ' : ' -f 1 - 3

/bin:/usr/bin:/sbin:

  将 PATH 变量取出，我要找出第一到第三，还有第五个路径。

echo $PATH | cut -d ' : ' -f 1 - 3 , 5

/bin:/usr/bin:/sbin:/usr/local/bin

  实用例子:只显示/etc/passwd的用户和shell

# cat /etc/ passwd | cut -d ' : ' -f 1 , 7

root: /bin/ bash

daemon: /bin/ sh

bin: /bin/ sh

9、wc 

统计 文件里面有多少单词，多少行，多少字符。

wc语法

[root@www ~]# wc [- lwm]

选项与参数：

- l  ：仅列出行；

- w   ：仅列出多少字(英文单字)；

-m  ：多少字符；

默认使用wc统计/etc/passwd

# wc /etc/ passwd

40    45 1719 /etc/ passwd

40是行数，45是单词数，1719是字节数

wc的命令比较简单使用，每个参数使用如下：

# wc -l /etc/ passwd    #统计行数，在对记录数时，很常用

40 /etc/ passwd       #表示系统有40个账户

# wc - w /etc/ passwd   #统计单词出现次数

45 /etc/ passwd

# wc -m /etc/ passwd   #统计文件的字节数

1719

10、grep

二、实例

1、统计apache日志文件里访问量前十的ip并按从多到少排列：

解法1： 

         cat access_log|awk ’{print $1}’|sort|uniq -c| sort -n -r |head -10 

解法2：

cat access_log|awk-F“--” ‘{print $1}’|sort-t. | uniq -c | sort -n -r | head -10

awk ‘{a[$1] += 1;} END {for(iina) printf(“%d %s\n”,a[i], i);}’ 日志文件 |sort-n | tail

首先用awk统计出来一个列表，然后用sort进行排序，最后用tail取最后的10个。

以上参数可以略作修改显示更多的数据，比如将tail加上-n参数等，另外日志格式不同命令也可能需要稍作修改。

当前WEB服务器中联接次数最多的ip地址

netstat -ntu |awk ‘{print$5}’|sort|uniq -c| sort -nr`

2、查看日志中访问次数最多的前10个IP

cat access_log|cut-d‘ ‘ -f 1 |sort|uniq-c|sort-nr| awk ‘{print $0}’|head-n10 |less

3、查看日志中出现100次以上的IP

cat access_log |cut -d ‘ ‘ -f1|sort|uniq -c |awk ‘{if($1>100)print$0}’｜sort-nr |less

4、查看最近访问量最高的文件

cat access_log |tail -10000|awk ‘{print$7}’|sort|uniq -c|sort-nr|less

5、查看日志中访问超过100次的页面

cat access_log | cut-d‘ ‘ -f 7 | sort |uniq -c|awk ‘{if($1>100) print$0}’|less

6、统计某url，一天的访问次数

cat access_log|grep’12/Aug/2009′|grep‘/images/index/e1.gif’|wc|awk ‘{print$1}’

7、前五天的访问次数最多的网页

cat access_log|awk ‘{print$7}’|uniq -c|sort-n -r|head -20

8、从日志里查看该ip在干嘛

cat access_log |grep218.66.36.119| awk ‘{print$1″\t”$7}’|sort| uniq -c| sort -nr| less

9、列出传输时间超过 30 秒的文件

cat access_log|awk ‘($NF>30){print$7}’|sort-n|uniq -c|sort-nr|head -20

10、列出最最耗时的页面(超过60秒的)

cat access_log|awk ‘($NF>60&&$7~/\.php/){print$7}