squid日志分析与反向代理

Squid 日志分析

安装图像处理软件包
编译安装

yum install -y pcre-devel gd gd-devel

mkdir /usr/local/sarg
tar zxvf sarg-2.3.7.tar.gz -C /opt/

cd /opt/sarg-2.3.7

./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection

make && make install

修改配置文件

vim /etc/sarg/sarg.conf
#---------7行，取消注释---------------------------------------------
access_log /usr/local/squid/var/logs/access.log		#指定访问日志文件
#---------25行，取消注释--------------------------------------------
title "Squid User Access Reports"					#网页标题
#---------120行，取消注释-------------------------------------------
output_dir /var/www/html/squid-reports				#报告输出目录
#---------178行，取消注释-------------------------------------------
user_ip no											#使用用户名显示
#---------184行，取消注释，修改--------------------------------------
topuser_sort_field connect reverse					#top排序中，指定连接次数采用降序排列，升序是normal
#---------190行，取消注释，修改--------------------------------------
user_sort_field connect reverse						#对于用户访问记录，连接次数按降序排序
#---------206行，取消注释，修改--------------------------------------
exclude_hosts /usr/local/sarg/noreport				#指定不计入排序的站点列表的文件
#---------257行，取消注释-------------------------------------------
overwrite_report no									#同名同日期的日志是否覆盖
#---------289行，取消注释，修改--------------------------------------
mail_utility mailq.postfix							#发送邮件报告命令
#---------434行取消注释，修改---------------------------------------
charset UTF-8										#指定字符集UTF-8
#---------518行，取消注释-------------------------------------------
weekdays 0-6										#top排行的星期周期
#---------525行，取消注释-------------------------------------------
hours 0-23											#top排行的时间周期
#---------633行,取消注释--------------------------------------------
www_document_root /var/www/html		

添加不计入站点文件，添加的域名将不被显示在排序中

touch /usr/local/sarg/noreport

ln -s /usr/local/sarg/bin/sarg /usr/local/bin/
sarg --help

安装httpd 启动服务进入火狐浏览器验证

添加计划任务，执行每天生成报告

vim /usr/local/sarg/report.sh
#/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date -d "1 day ago" +%d/%m/%Y)
/usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports -z -d $YESTERDAY-$TODAY &> /dev/null
exit 0

chmod +x /usr/local/sarg/report.sh

crontab -e
0 0 * * * /usr/local/sarg/report.sh

Squid 反向代理

如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 Web 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

工作机制

缓存网页对象，减少重复请求
将互联网请求轮训或按权重分配到内网Web服务器
代理用户请求，避免用户直接访问Web服务器，提高安全

Squid-Server（192.168.37.121）

vim /etc/squid.conf
......
#---------60行,修改,插入-------------------------------------------
http_port 192.168.163.10:80 accel vhost vport
cache_peer 192.168.163.15 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 192.168.163.20 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.test.com


systemctl stop httpd
systemctl restart squid
#---------解释-----------------------------------------------------
http_port 80 accel vhost vport 
#squid从一个缓存变成了一个Web服务器使用加速模式，这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。
accel：反向代理加速模式
vhost：支持域名或主机名来表示代理节点
vport：支持ip和端口来表示代理节点

parent：代表为父节点
80：HTTP_PORT
0：ICP_PORT
no-query：不做查询操作，直接获取数据
originserver：指定是源服务器
round-robin：指定 squid 通过轮询方式将请求分发到其中一台父节点
max_conn：指定最大连接数
weight：指定权重
name：设置别名

web1、web2

systemctl stop firewalld.service 
setenforce 0
yum install -y httpd
systemctl start httpd

web1

echo "this is web1" >> /var/www/html/index.html

web2

echo "this is web2" >> /var/www/html/index.html

客户机的代理配置

浏览器访问 http://www.test.com

成功