目前主流的日志分析工具awstats、webalizer、glTail、piwik主要都是针对apache、lighthttp这些老牌的http应用的。而对于新秀们如nginx的支持的相对较少,今天介绍的这个日志分析工具就支持nginx。除此之外,因为goaccess因为不及于html页面进行的访问,而是在X windows或text mode下实时查看访客详情,所以其实时性和处理能力都比较强,其具体特点如下:

    统计概况,流量消耗等
    访客排名
    动态Web请求
     静态web请求,如图片、样式表、脚本等。
     来路域名
    404 错误
    操作系统
     浏览器和搜索引擎
    主机、DNS和IP地址
     HTTP 响应代码
     引荐网站
     键盘布局
    自定义显示
     支持超大日志(分析速度很快)

支持的日志格式

目前,这款软件支持Common Log Format (CLF) 和 Combined Log Format(XLF/ELF) 格式的日志。分析传统的apache格式日志当然毫无问题。同时,只要将nginx的日志格式定义为apache格式,对它的分析也不在话下(目前,redhat提供的nginx软件包默认日志格式和apache基本一致)。

GoAccess安装

其功能依赖glib2、GeoIP、ncurses 三个库文件,在Debian或Ubuntu可以直接通过apt-get来下载安装软件。自动解决软件的依赖问题。Redhat或CentOS本身不包含GeoIP包,可以通过第三方源rpmforge来解决依赖关系。具体rpmforge的使用,可以参看我的另一篇日志——CentOS官方推荐的RPMforge软件仓库安装方法。

安装完第三方源rpmforge后,就可以通过yum解决goaccess所需的依赖关系包了。

yum install glib2 glib2-devel GeoIP-devel  ncurses-devel
wget http://downloads.sourceforge.net/project/goaccess/0.7.1/goaccess-0.7.1.tar.gztar zxvf goaccess-0.4.2.tar.gz
cd goaccess-0.4.2
#启动ip归属地查询、和utf8编码格式支持
./configure --enable-utf8
make && make install

 其官方页面为http://goaccess.prosoftcorp.com,其他linux版本也可以到其网站找相应的版本下载。

 
用法介绍

GoAccess的基本语法如下:

goaccess [ -b ][ -s ][ -e IP_ADDRESS][ - a ] <-f log_file >

参数说明:

     -f – 日志文件名
     -b – 开启流量统计,如果希望加快分析速度不建议使用该参数
     -s – 开启HTTP响应代码统计
     -a – 开启用户代理统计
     -e – 开启指定IP地址统计,默认禁用

    最简单、常用的命令就是直接调用goaccess命令啦,不带任何影响效率的其他参数
    goaccess –f access.log
    如果需要查看其他信息,我们加入如下参数以显示HTTP响应代码、用户代理、流量消耗
    goaccess –f access.log –s –a –b
    如果你觉得这样还不能满足你的需求。别急,goaccess支持linux管道(Pipe),我们可以将日志文件预处理后,再交给goaccess去分析。
    zcat access.log.1.gz | goaccess
    让goaccess去分析已经打包压缩好的日志文件。
    或者干脆分析目前下所有日志
    zcat access.log* | goaccess
    如果需要分析某天的日志,例如5月6号那天的日志,就可能通过linux管道配合实现。
    sed -n '/06/May/2010/,$ p' access.log | goaccess -s –b
    分析从11月5号到12月5号一个月内的日志
    sed -n '/5/Nov/2010/,/5/Dec/2010/ p' access.log | goaccess -s –b
    当你不希望在服务器上安装goaccess程序,可以通过调用本地的goaccess程序来分析服务器上的日志:
    ssh user@server 'cat /var/log/apache2/access.log' | goaccess -s -a -b

 2013年1月22日后记:

         目前官方出了goaccess 0.5版本。其较0.4版本,减少了使用参数。目前只有e a c f 四个可用参数。增加了日志格式选择和自定义选项。如果日志格式选择不对的话,可能会出现带宽使用情况为0。并且统计结果不完整的情况。

[root@back res]# goaccess
GoAccess - 0.5
Usage: goaccess [ -e IP_ADDRESS][ - a ][ - c ]< -f log_file >

使用-c参数自定义日志格式的界面如下:

+--------------------------------------------------+
| Log Format Configuration                         |
| [SPACE] to toggle - [F10] to proceed             |
|  Parsing...                                      |
| [ ] Common Log Format (CLF)                      |
| [ ] Common Log Format (CLF) with Virtual Host    |
| [x] NCSA Combined Log Format                     |
| [ ] NCSA Combined Log Format with Virtual Host   |
| [ ] W3C                                          |
|                                                  |
| Log Format - [c] to add/edit format              |
| %h %^[%d:%^] "%r" %s %b "%R" "%u"                |
|                                                  |
| Date Format - [d] to add/edit format             |
| %d/%b/%Y                                         |
+--------------------------------------------------+

同时其支持输出为html格式的结果,用法如下:

goaccess -f 361way.access.log  -a -c > /root/dayrep.html
grep '21/Jan/2013:13:20' 361way.access.log |goaccess -c -a > /root/minrep.html


导出html错误解决方法

解决办法:

vim  /etc/goaccess.conf

添加一下内容:
time-format %T
date-format %d/%b/%Y
log-format %h %^[%d:%t %^] “%r” %s %b “%R” “%u”