squid日志分析软件sarg的安装和使用

转载 2007年09月23日 02:37:00
原贴:http://blog.chinaunix.net/u/23204/showart_176830.html


 
squid日志分析软件sarg的安装和使用
 
 
1、SARG介绍

SARG的全称是:Squid Analysis Report Generator
SARG作为一款Squid日志分析工具,它采用html格式,详细列出了每一位用户访问internet的站点信息,时间占用信息,排名,连接次数,访问量,访问量等。
软件的主页:http://www.sarg-squid.org/ 目前最新的版本是2.0.2

2、安装

下载了sarg的最新安装包以后,进入下载的目录,执行以下的操作进行安装:
解压缩安装软件包
#tar zxvf sarg-2.0.2.tar.gz
进入解压后的目录,
#cd sarg-2.0.2
#./configure
在这里,也可以用./configure --help看看可以使用的configure可以使用的参数,一般来说,使用默认的选项就可以了。
#make
#make install
这 样,就完成了sarg的安装,如果安装过程中出现错误,可以看看有没有安装gcc,或者在安装系统是没有安装相应的开发库。如果使用默认的选项,可执行文 件是/usr/bin/sarg,配置文件是/usr/local/sarg/sarg.conf,在 /usr/local/sarg目录下还有一些其他的文件和目录。

3、配置

安装成功后,在/usr/local/sarg/目录中,有一个配置文件为sarg.conf,我们通过修改配置文件的参数,来达到对日志进行有规则的分析。也可以通过命令行参数实现。
sarg配置文件的方法和squid配置文件的配置方法类似,只要修改带有关键字的行:
"language english"
指定网页报告文件的语言类型,很可惜不支持中文网页。
"access_log /usr/local/squid/logs/access.log"
指定squid日志文件绝对路径。
"title "squid user access reports"
指定网页标题,可以写中文网页,内核支持先。
"temporary_dir /var/tmp"
指定临时文件目录,请确认该目录所在的分区足够大先,1g以上。
"output_dir /var/www/html/squid-reports"
指定网页报告文件输出路径,推荐使用webmaster或其他非admin用户运行sarg。
"topuser_sort_field connect reverse bytes reverse"
在top排序中,指定连接次数(connect),访问字节数(bytes)采用降序排列,升序请使用normal替代reverse
"user_sort_field connect reverse"
对于每个用户的访问纪录,连接次数按降序排列
"exclude_hosts /usr/local/sarg/norecords"
指定不计入排序的站点列表文件名为/usr/local/sarg/norecords,对于客户端 访问的这些站点,将不会被top排序中,norecords文件样本:
google.com
csdn.net
microsoft.com
"date_format e"
启动sarg进程是如果使用日期参数-d时,请使用和配置文件一致的日期格:
e (europe=dd/mm/yy),
u (usa=mm/dd/yy),
w (weekly=yy.ww)
"topuser_fields num date_time userid connect bytes %bytes in-cache-out used_time milisec %time total average"
指定top排序的域,可以取掉一些不关紧要的域:in-cache-out used_time等
"weekdays 1-5"
指定top排序星期周期为星期一到星期五,0表示星期天
"hours 9-11,13-16"
指定top排序的时间周期为9:00-11:59,13:00-16:59,哈哈,差不多为上班时间

至此,sarg.conf文件的配置基本上over了,还有些不是太重要的配置一看就明白,在此就不耽误大家的时间了。

sarg的命令行解释如下:
# sarg -h
sarg: usage [options...]
-a hostname or ip address
指定不计入排序的主机名称或地址
-b useragent log
用户代理日志文件输出
-c exclude file
指定不计入排序的站点列表文件名为/usr/local/sarg/norecords,对于客户端访问的这
些站点,将不会被top排序中
-d date from-until dd/mm/yyyy-dd/mm/yyyy
指定日期范围
-e email address to send reports (stdout for console)
指定报告接收者邮件
-f config file (/usr/local/sarg/sarg.conf)
指定配置文件
-g date format [e=europe -> dd/mm/yy, u=usa -> mm/dd/yy]
指定输入的日期格式
-h help (this...)
列帮助信息
-i reports by user and ip address
指定客户端排序采用用户名或者ip地址
-l input log
指定squid日志文件绝对路径。
-o output dir
指定网页报告文件输出路径,推荐使用webmaster或其他非admin用户运行
sarg。
-p use ip address instead userid (reports)
使用ip地址作为userid域
-w temporary dir
指定临时文件目录,请确认该目录所在的分区足够大先,1g以上。

4、运行
一般来说,我们希望系统可以自动生成日志分析以后的结果。在这里,我们利用cron来实现,把以下的相应脚本放到cron里面去执行即可

日报告:
-------------------------------------
#!/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date --date "1 day ago" +%d/%m/%Y)
/usr/local/bin/sqmgrlog -l /usr/local/squid/logs/access.log -o /usr/local/apache/htdocs/reports/daily -z -d $YESTERDAY-$TODAY
exit 0

周报告:
-------------------------------------
#!/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date --date "1 week ago" +%d/%m/%Y)
/usr/local/bin/sqmgrlog -l /usr/local/squid/logs/access.log -o /usr/local/apache/htdocs/reports/weekly -z -d $YESTERDAY-$TODAY
exit 0

月报告:
-------------------------------------
#!/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date --date "1 month ago" +%d/%m/%Y)
/usr/local/bin/sqmgrlog -l /usr/local/squid/logs/access.log -o /usr/local/apache/htdocs/reports/monthly -z -d $YESTERDAY-$TODAY
/usr/local/squid/bin/squid -k rotate
exit 0

通过邮件发送报告:
#!/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date --date "1 day ago" +%d/%m/%Y)
/usr/local/bin/sqmgrlog -l /usr/local/squid/logs/access.log -e user@site.com -z -d $YESTERDAY-$TODAY
exit 0

(说明:以上脚本来自官方网站。)
 

squid日志分析软件sarg的安装和使用

原贴:http://blog.chinaunix.net/u/23204/showart_176830.html   ...
  • chinalinuxzend
  • chinalinuxzend
  • 2007年09月23日 02:37
  • 1122

辛星网站构架师笔记第五篇即缓存详解

前面我们介绍了缓存技术,但是对于单纯的使用缓存技术是不够的,还需要掌握一下对于提高网站的性能、减轻因为大量访问而给后台应用带来巨大压力的应用技术,也就是缓存技术。     首先说一下什么是缓存吧,缓...
  • xinguimeng
  • xinguimeng
  • 2014年09月17日 15:55
  • 1036

sarg对squid的日志流量分析报表(按小时,天,周生成)

 1.SARG介绍SARG的全称是:Squid Analysis Report GeneratorSARG非常好用的Squid日志分析工具,它输出html格式,可以详细列出了每一位用户访问intern...
  • jiedushi
  • jiedushi
  • 2009年08月07日 16:50
  • 1622

监测Squid日志的五种方法

原贴:http://www2.ccw.com.cn/05/0503/d/0503d04_3.asp 监测Squid日志的五种方法■ 河南工业职业技术学院 邱建新 ...
  • chinalinuxzend
  • chinalinuxzend
  • 2007年09月23日 14:00
  • 7471

ansible基本使用

Ansible命令格式 Ansible [主机组或主机名ip地址也可] -m 模块名 -a ‘指定模块的参数’ 例如: Ansible test -m shell -a ‘cp /etc/p...
  • m0_37817456
  • m0_37817456
  • 2017年08月24日 11:22
  • 128

squid 的ACL访问控制

ACL访问控制 ACL是squid提供的一个强大的控制机制,通过合理的设置ACL(Access Control List)并进行限制,可以针对源地址、目标地址、访问的URL 路径、访问的时间等各种条...
  • m0_37817456
  • m0_37817456
  • 2017年08月04日 13:41
  • 248

用Ubuntu架设透明的Squid代理服务器

Squid是全功能的HTTP/1.0代理服务器,也近乎完整的兼容HTTP/1.1。Squid提供丰富的访问控制、认证和日志环境用以网站代理服务器和内容服务应用。 本文简单介绍了如何架设一台透明Squ...
  • s464036801
  • s464036801
  • 2012年11月02日 18:41
  • 1127

Squid 日志分析代码

自己在管理SQUID 服务器的时候写了一个SHELL来分析日志文件,得出那些站点经常被访问贴出代码来仅供参考讨论,注意DATAFILE必须是 SQUID的日志数据文件,要不然结果没有任何意义MOST ...
  • zinking3
  • zinking3
  • 2007年09月04日 21:55
  • 1178

sarg分析squid日志

Sarg(Squid Analysis Report Generator),是一款Squid 日志分析工具,采用HTML 格式,详细列出每一位用户访问Internet 的站点信息、时间占用信息、排名、...
  • m0_37817456
  • m0_37817456
  • 2017年08月04日 14:11
  • 160

查询参数:SARG规则与索引

SARG(Searchable Arguments)的定义:用于限制搜索的一个操作,因为它通常是指一个特定的匹配,一个值的范围内的匹配或者两个以上条件的AND连接。 形式如下: 列名 操作符 ...
  • zhangzeyuaaa
  • zhangzeyuaaa
  • 2013年07月29日 15:03
  • 1411
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:squid日志分析软件sarg的安装和使用
举报原因:
原因补充:

(最多只允许输入30个字)