在linux系统下,日志的作用是非常重要的,我们可以根据日志记录的内容来判断某服务的状态,用户访问的状况,日志还能帮助我们排查错误,查找我们系统的不安全因素等。当然,管理日志的方式很多,我们可以通过shell脚本实现管理。要实现更强大的日志管理功能,那我们不得不借助日志分析工具来实现,下面就介绍一下webalizer与awstat这两个日志分析工具的使用方法。

由于我的电脑上已经装了httpd服务,那我们以apache的日志分析为例,介绍这两个工具的使用方法:

webalizer 工具

下载地址:http://www.webalizer.org

Webalizer的特性:

1. 为是用C写的程序,所以其具有很高的运行效率。在主频为200Mhz的机器上,webalizer每秒钟可以分析10000条记录,所以分析一个40M大小的日志文件只需要15秒。

2. webalizer支持标准的一般日志文件格式(CommonLogfile Format);除此之外,也支持几种组合日志格式(Combined LogfileFormat)的变种,从而可以统计客户情况以及客户操作系统类型。并且现在webalizer已经可以支持wu-ftpd xferlog日志格式以及squid日志文件格式了。

3. 支持命令行配置以及配置文件。

4. 可以支持多种语言,也可以自己进行本地化工作。

5. 支持多种平台,比如UNIX、linux、NT, OS/2 和MacOS等。

Webalizer的具体使用:

要想使用一个软件工具,不进行安装你要使用什么东东呢,首先我们要进行安装,由于此软件是源码包,当然在安装前你要拆包的,然后进行什么的配置啊、编译啊、才能执行安装和使用的。

204641969.png

tar-jxvf webalizer-2.23-05-src.tar.bz2 -C /usr/local/src/将源码包拆解到/usr/local/src目录,此目录一般用于我们存放拆解的源码工具包,如果是内核的话一般要拆解到/usr/src目录(这也是linux下不成文的规定哦)

进入拆解后的目录进行相应的配置:

204743818.png

./configure--sysconfdir=/etc/webalizer.conf进行相应的配置,指明配置文件的存放目录。然后执行make编译和make install安装。默认情况下,我们的工具会安装在/usr/local目录下。

204806366.png

进入我们的配置文件的目录/etc/webalizer.conf/下:

204830709.png


204835578.png


由于,webalizer工具支持生成的图标可以基于web进行查看,而我们也开启了httpd服务,我们的站点为www.abc.com,因此我们可以通过web查看数据。由于要经常分析日志,我们将日志分析,做成系统的计划任务进行处理。我们将分析日志产生的数据和图片放置在/var/www/html/log目录下,我们首先创建这个目录:mkdir/var/www/html/log,然后我们去编写计划任务表:vim /etc/crontab

205230496.png

然后要去创建那个存放我们任务的目录喽:mkdir /etc/cron.weblog,接着切换到此目录,新建任务vim weblog

205254871.png


修改wblog脚本的权限为可执行

205308360.png


好了,到此我们只需要等结果来查看了,现在你可以以休息一下,去喝杯水了,五分钟后,你就可以看到相应的信息哦:

205323950.png


你还可以通过网页也进行查看哦:

205347992.png


Webalizer后面可以跟的参数的选项:

-h= 打印帮助信息

-v-V = 打印版本信息

-d= 打印附加调试信息

-Ftype = 日志格式类型. type= (clf | ftp | squid)

-i= 忽略历史文件

-p= 保留状态(递增模式)

-q= 忽略消息信息

-Q= 忽略所有信息

-Y= 忽略国家图形

-G= 忽略小时统计图形

-H= 忽略小时统计信息

-L= 忽略彩×××例

-lnum = 在图形中使用数字背景线

-mnum = 访问超时 (seconds)

-T= 打印时间信息

-cfile = 指定配置文件

-nname = 使用的主机名

-odir = 结果输出目录

-tname = 指定报告题目上的主机名

-aname = 隐藏用户代理名称

-rname = 隐藏访问链接

-sname = 隐藏客户

-uname = 隐藏URL

-xname = 使用文件扩展名

-Pname = 页面类型扩展名

-Iname = index别名

-Anum = 显示前几名客户类型

-Cnum = 显示前几名国家

-Rnum = 显示前几名链接

-Snum = 显示前几名客户

-Unum = 显示前几名URLs

-enum = 显示前几名访问页面

-Enum = 显示前几名不存在的页面

-X= 隐藏个别用户

-Dname = 使用dns缓存文件

-Nnum = DNS 进程数 (0=禁用dns)

Awstats工具

下载地址:http://awstats.sourceforge.net/

Awstats的介绍:

Awstats是一个优秀的基于Perl语言开发的WEB日志分析的分析工具,可以跨平台,界面友好,分析内容详尽,并且支持多语言的操作界面,是一个发展很快应用很广的日志分析工具。

安装环境:kunjiang安装awstats的环境是在rhrl 5.4,httpd-2.2.3基础上哦。当然喽,由于它的跨平台性它也支持freebsd和windows等平台,只要您的机器正确安装配置了perl环境,在linux下面可以使用光盘里面自带的rpm包安装perl,这里不多说。我使用的awstats是较新的版本awstats-6.6,当然你也可以下载最新的版本使用哦!

Awstats的安装过程:

1、perl环境的安装

使用rpm -qa |grep perl查看是否安装了perl相关的rpm包,如果没有安装的话,可以配置yum服务器(解决依赖关系,这里就不讲了,可以参考我的其他文章),使用yum install perl命令进行安装。

2、安装awstats

创建/usr/local/awstats目录,将awstats-6.6.tar.gz拆解到任意目录下,拷贝拆解目录下的所有内容到/usr/local/awstats目录下:

#mkdir  /usr/local/awstats

#tar–zxvf  ./awstats-6.6.tar.gz

#cp -R  ./awstats-6.6/*  /usr/local/awstats/

205406396.png

将包拆解并拷贝到/usr/local/awstas目录下,基本就完成了awstats的安装,然后就是配置

注意,您还需要自己手动创建两个目录,一个是/etc/awstats 和/var/lib/awstats 这两个目录都将在后面的配置中用到,一个用于存放站点日志分析的配置文件,一个用于存放日志数据信息。

3、配置awstats

awstats的配置使用awstats的配置工具/usr/local/awstats/tools/awstats_configure.pl 进行配置,首先用vi打开configure.pl文件,看看第一行有关perl运行环境的配置是否正确,然后运行下面的命令进行配置:

#/usr/local/awstats/tools/awstats_configure.pl

基本上整个配置过程很简单,回车和简单填写一些就结束了,awstats_configure.pl工具会自动修改您的apache配置,在apache的配置文件httpd.conf文件中自动修改下面信息

CustomLog/yourlogpath/yourlogfile common

CustomLog/yourlogpath/yourlogfile combined

这样的修改将让您的apache在记录日志的时候记录到更多可用于分析的内容,比如来访者的浏览器、来访者的身份等。

同时awstats_configure.pl还将自动在httpd.conf文件中添加下面内容:

Alias/awstatsclasses "/usr/local/awstats/wwwroot/classes/"

Alias/awstatscss "/usr/local/awstats/wwwroot/css/"

Alias/awstatsicons "/usr/local/awstats/wwwroot/icon/"

ScriptAlias/awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"

OptionsNone

AllowOverrideNone

Orderallow,deny

Allowfrom all

这样配置awstats将可以通过web客户端访问。


另外,awstats_configure.pl还将根据安装过程中您的回答(要分析的网站名称)信息,自动生产/etc/awstats/awstats.yourdomain.conf文件,这里生成的文件是awstats.www.abc.com.conf文件,这个文件几乎不用修改,就可以了,如果您有些特殊的设置,可以自己修改该文件进行配置,我的配置文件里面最基本的几行配置内容如下:

LogFile="/var/log/httpd/access_log"

LogType=W

LogFormat=1

LogSeparator=""

SiteDomain="www.abc.com"

HostAliases="abc.comwww.abc.com 127.0.0.1 localhost"

DNSLookup=2

DirData="/var/lib/awstats"

DirCgi="/awstats"

DirIcons="/awstatsicons"

AllowToUpdateStatsFromBrowser=0

AllowFullYearView=2

.....

其他的都是默认设置,不用修改

这样,您就完成了awstas的安装和配置。

4、分析日志

完成awstats的配置以后,要让awstats开始第一次进行您的日志文件的分析,并存放awstats的数据库中,您需要运行下面的命令:

#/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update  -config=www.abc.com

205427766.png

这样,awstats就完成了第一次数据的导入,今后您只需要定期再次运行此命令即可进行增量的更新!现在把这个命令加到了系统计划任务表crontab中,让每隔5分钟运行一次,直接修改/etc/crontab

205443808.png

然后再创建/etc/cron.awstats目录,切换至此目录,创建计划任务,vimawstats:

205455706.png

修改awstats的权限为可执行:

205535108.png

至此,我们已经完成了全部的安装和配置,重启一下apache服务,在浏览器内输入http://www.abc.com/awstats/awstats.pl?config=www.abc.com即可访问:

205554817.png

由于,此工具的功能比较多,具体生成的数据的含义,这里我就不再多说,大家慢慢研究吧!