apache日志文件 分析

转载 2013年12月04日 11:56:43
转自:http://www.fandlr.com/2012/05/31/find-top-10-ips-from-access-log.html
解法1: cat access_log | awk  ’{print $1}’ | sort | uniq -c | sort -n -r | head -10
解法2:cat access_log | awk -F “- -” ‘{print $1}’ | sort -t . | uniq -c | sort -n -r | head -10

awk ‘{a[$1] += 1;} END {for (i in a) printf(“%d %s\n”, a[i], i);}’ 日志文件 | sort -n | tail

首先用awk统计出来一个列表,然后用sort进行排序,最后用tail取最后的10个。

以上参数可以略作修改显示更多的数据,比如将tail加上-n参数等,另外日志格式不同命令也可能需要稍作修改。

当前WEB服务器中联接次数最多的ip地址

#netstat -ntu |awk ‘{print $5}’ |sort | uniq -c| sort -nr

 

查看日志中访问次数最多的前10个IP

#cat access_log |cut -d ‘ ‘ -f 1 |sort |uniq -c | sort -nr | awk ‘{print $0 }’ | head -n 10 |less

 

查看日志中出现100次以上的IP

#cat access_log |cut -d ‘ ‘ -f 1 |sort |uniq -c | awk ‘{if ($1 > 100) print $0}’|sort -nr |less

查看最近访问量最高的文件

#cat access_log |tail -10000|awk ‘{print $7}’|sort|uniq -c|sort -nr|less

 

查看日志中访问超过100次的页面

#cat access_log | cut -d ‘ ‘ -f 7 | sort |uniq -c | awk ‘{if ($1 > 100) print $0}’ | less

 

统计某url,一天的访问次数

#cat access_log|grep ’12/Aug/2009′|grep ‘/images/index/e1.gif’|wc|awk ‘{print $1}’

 

前五天的访问次数最多的网页

#cat access_log|awk ‘{print $7}’|uniq -c |sort -n -r|head -20

 

从日志里查看该ip在干嘛

#cat access_log | grep 218.66.36.119| awk ‘{print $1″\t”$7}’ | sort | uniq -c | sort -nr | less

 

列出传输时间超过 30 秒的文件

#cat access_log|awk ‘($NF > 30){print $7}’ |sort -n|uniq -c|sort -nr|head -20

 

列出最最耗时的页面(超过60秒的)

#cat access_log |awk ‘($NF > 60 && $7~/\.php/){print $7}’ |sort -n|uniq -c|sort -nr|head -100

apache日志分析

web服务器日志配置和分析详解 从某种程度上将”日志就是金钱”,因为通过日志能够分析出一个网站具有高流量,则广告商愿意为其支付费用。对于所有的公司或ICP来说,除了要保证网站稳定正常的运行以外,一个重...
  • liuxingjiangxue
  • liuxingjiangxue
  • 2014年03月17日 17:21
  • 1017

Spark 分析Apache日志

声明:没博客内容由本人经过实验楼整理而来内容描述在给定的日志文件是一个标准的Apache2 程序产生的access.log文件,根据业务需求,我们需要分析得到下面几方面的数据: 统计每日PV和独立IP...
  • taoyanqi8932
  • taoyanqi8932
  • 2016年11月28日 21:32
  • 1582

日志审计-apache攻击日志分析

0x00前言 在我们部署Web应用中,往往会伴随着很多日志消息产生,例如iis、apache、nginx等Web容器往往会产生众多的日志消息。其中如果使用人工审阅这些消息,工作量实在太大了,另外还需要...
  • qq_29277155
  • qq_29277155
  • 2016年06月01日 16:21
  • 2307

Linux下Apache日志分析工具--AWStats安装使用

当我们建站之后,时刻需要了解站点的访问情况,,如每天或特定时间段的访问IP数量,点击率最大的页面等。现在,这些任务可以由awstats工具来完成。         Awstats是一个开源日志分析工具...
  • linlzk
  • linlzk
  • 2015年11月04日 17:24
  • 1705

Apache日志详解

本文分五个部分:访问日志、错误日志、定制日志、日志分析、其他用法。摘自永远的Linux,做了一些修整。   Apche日志系列(1):访问日志        想要知道什么人在什么时候浏览了网站...
  • u013699800
  • u013699800
  • 2014年07月09日 10:31
  • 1379

Hadoop 分析Apache日志记录 URLlog日志分析

Hadoop 分析Apache日志记录 URLlog日志分析 数据文件 [root@master IMFdatatest]#hadoop dfs -cat /library/URLLog.txt DE...
  • duan_zhihua
  • duan_zhihua
  • 2016年02月16日 20:27
  • 1004

使用logstash分析Apache日志

转自:http://blog.sina.com.cn/s/blog_a84e73f70101ck5r.html 网站刚刚上线,就发现一些扫描信息,因此,有必要搭一个日志分析系统,对web访问日 ...
  • wdt3385
  • wdt3385
  • 2013年11月13日 14:02
  • 2862

Apache日志解读,Apache日志每列代表什么?

Apche日志系列(1):访问日志 想要知道什么人在什么时候浏览了网站的哪些内容吗?查看Apache的访问日志就可以知道。访问日志是Apache的标准日志,本文详细解释了访问日志的内容以及相关选...
  • tswisdom
  • tswisdom
  • 2014年12月02日 13:19
  • 6208

Linux下apache日志分析与状态查看方法

假设apache日志格式为: 118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ ...
  • jlds123
  • jlds123
  • 2016年11月17日 10:34
  • 4164

Apache日志分析工具Awstats的安装和配置

这些天由于几个不同的流量统计工具在统计数据上出现了很大差异,当时就想到了应该分析一下apache的access log,那里的数据应该是最权威的。刚开始为了应急写了一个简单分析工具,统计了一下简单的数...
  • weilee2009
  • weilee2009
  • 2016年09月19日 11:09
  • 2212
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:apache日志文件 分析
举报原因:
原因补充:

(最多只允许输入30个字)