linux下日志脚本

日志分析

随意的tail一个access_log文件,下面是一条经典的访问记录

218.19.140.242 – - [10/Dec/2010:09:31:17 +0800] “GET /query/trendxml/district/todayreturn/month/2009-12-14/2010-12-09/haizhu_tianhe.xml HTTP/1.1″ 200 1933 “-” “Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 (.NET CLR 3.5.30729)”

1、查看apache 进程数

ps -aux | grep httpd | wc -l

-a:查看所有进程

-u:查看当前用户状况

-x:查看所有进程

-l:统计行数

2、查看日志当天ip的连接数

cat a.log | grep "10/dev/2010" | awk "{print $2}" | sort | uniq -c | sort -nr

查看日志--选择具体日期-选择第二列的ip列--排序

-c:查看是否已经排序

-n:按数值大小进行排序

-r:反向排序

3、查看指定的ip当天访问了哪些url

同上  print$2变为print $7

常用的日志分析命令

less 文件名 查看文件内容 按“q” 退出

cat 文件名 打开文件，可以多次打开几个文件 | cat 1.log 2.log |cat *.cat
grep -参数 文件名
-i 不区分大小写
-v 显示不符合条件的所有行
-c 显示符合条件的所有行数（符合条件的数量）

egrep 属于grep的升级版，在正则这一块的支持更完善，使用正则的时候建议使用egrep

head -2 文件名 显示2行
head -100 文件名 | tail -10 >>a.log 提取文件第91-100行数据

wc -参数 文件名 统计文本大小，字符多少，行数
-c 统计文本字节数
-m 统计文本字符数
-l 统计文本有多少行

sort – 参数 文件名 对文件进行排序
-n 对文件按照数字排序
-r 反向排序

uniq -参数 文件名 对文件去重，去重前需要使用排序

sort
-c 显示数据重复的次数

split -参数 文件名 对文件进行切割
-100 （每100行切割成一个文件）
-C 25m/b/k (每25兆/字节/K 分割成一个文件)

| 管道，把上一条命令的结果传输给下一条命令

“>” 和“>> ” 重定向写入文件中 “>”相当于“w”清空并写入 “>>”相当于“a” 追加进文件

 awk -F ‘分割符'  Pattern ｛action｝ 文件名 使用指定的字符对每一行数据进行分段，默认是空格（网站日志就是空格分开）
-F后面跟的是分隔符
pattern 就是action执行的条件，这里可以使用正则表达式
$n 即时第几段数据 $0表示整行数据
NF表示当前记录的字段数
$NF 表示最后一个字段
BEGIN和END，这两者都可用于pattern中，提供BEGIN和END的作用是给程序赋予初始状态和在程序结束之后执行一些扫尾的工作

bash shell.sh 运行shell.sh脚本

dos2unix xxoo.sh 将“\r\n”转换成“\n” Windows——>linux （由于Windows和Linux下的换行符不同，所以我们在Windows下面下的代码需要使用dos2unix 转换成Linux下的换行符，否则运行shell脚本会报错）

unix2dos xxoo.sh 将“\n”转换成“\r\n” linux——>Windows
rm xx.txt 删除xx.txt文件