一、缓存代理概述
1.1 web代理的工作机制
- 缓存网页对象,减少重复请求
1.2 代理的基本类型
- 传统代理:适用于Internet,需明确指定服务端
- 透明代理:客户机不需要指定代理服务器的地址和端口,而是通过默认路由,防火墙策略将web访问重定向给代理服务器处理
1.3 使用代理的好处
- 提高web访问速度
- 隐藏客户机的真实IP
二、传统代理部署
2.1 环境
squid:192.168.40.10
web:192.168.40.20
client:192.168.40.30
2.2 编译安装squid
yum -y install gcc gcc-c++ make ## 安装依赖包
## 编译安装
tar zxvf squid-3.5.23.tar.gz
cd squid-3.5.23/
./configure \
> --prefix=/usr/local/squid \
> --sysconfdir=/etc \ ###指定配置文件位置
> --enable-arp-acl \ ###支持acl访问控制列表
> --enable-linux-netfilter \ ###打开网络筛选
> --enable-linux-tproxy \ ###支持透明代理
> --enable-async-io=100 \ ###io优化
> --enable-err-language="Simplify_Chinese" \ ###报错显示简体中文
> --enable-underscore \ ###支持下划线
> --enable-poll \ ###默认使用poll模式,开启epoll模式时提升性能
> --enable-gnuregex ###支持正则表达式
make && make install
ln -s /usr/local/squid/sbin/* /usr/local/sbin/
useradd -M -s /sbin/nologin squid
chown -R squid.squid /usr/local/squid/var
2.3 修改主配置文件
vi /etc/squid.conf
# Leave coredumps in the first cache dir
cache_effective_user squid #添加 指定程序用户
cache_effective_group squid #添加 指定账号基本组
coredump_dir /usr/local/squid/var/cache/squid
squid -k parse ###检查配置文件语法
squid -z ###初始化缓存目录
squid ###启动服务
netstat -anpt | grep squid
tcp6 0 0 :::3128 :::* LISTEN 86809/(squid-1)
2.4 配置squid启动脚本
vi /etc/init.d/squid
#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"
case "$1" in
start)
netstat -natp | grep squid &> /dev/null
if [ $? -eq 0 ]
then
echo "squid is running"
else
echo "正在启动 squid..."
$CMD
fi
;;
stop)
$CMD -k kill &> /dev/null
rm -rf $PID &> /dev/null
;;
status)
[ -f $PID ] &> /dev/null
if [ $? -eq 0 ]
then
netstat -natp | grep squid
else
echo "squid is not running"
fi
;;
restart)
$0 stop &> /dev/null
echo "正在关闭 squid..."
$0 start &> /dev/null
echo "正在启动 squid..."
;;
reload)
$CMD -k reconfigure
;;
check)
$CMD -k parse
;;
*)
echo "用法:$0{start|stop|status|reload|check|restart}"
;;
esac
chmod +x /etc/init.d/squid
chkconfig --add squid
chkconfig --level 35 squid on
2.5 配置传统代理服务器
vi /etc/squid.conf
# from where browsing should be allowed
http_access allow all
http_access allow localnet
http_access allow localhost
# And finally deny all other access to this proxy
http_access deny all
# Squid normally listens to port 3128
http_port 3128
cache_men 64 MB ## 指定缓存功能所使用的内存空间大小,便于保持访问较频繁的WEB对象,容量最好为4的倍数,单位是MB,建议设置为物理内存的1/4
reply_body_max_size 10 MB ## 允许用户下载的最大文件大小,以字节为单位。默认设置0表示不进行限制
maximum_objeck_size 4096 KB ## 允许保存到缓存空间的最大对象大小,以KB为单位超过大小限制的文件将不会被缓存,而是直接转发给用户
iptables -F
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
systemctl restart squid
2.6 web服务器yum安装Apache服务
yum -y install httpd
echo "<h1>this is web1</h1>" > /var/www/html/index.html
systemctl start httpd
2.7 客户机设置代理
未设置之前,web端日志如下
设置代理之后
三、透明代理
3.1 环境
squid:192.168.40.10(外网) 192.168.50.10(内网)
web:192.168.50.20(内网)
client:192.168.40.30(外网)
3.2 squid配置
vi /etc/sysctl.conf
net.ipv4.ip_forward=1
sysctl -p ##开启路由功能
##修改配置文件
vi /etc/squid.conf
http_port 192.168.40.10:3128 transparent
## 编辑防火墙规则
[root@squid ~]# iptables -F
[root@squid ~]# iptables -F -t nat
[root@squid ~]# iptables -t nat -I PREROUTING -i ens33 -s 192.168.40.0/24 -p tcp --dport 80 -j REDIRECT --to 3128
[root@squid ~]# iptables -t nat -I PREROUTING -i ens33 -s 192.168.40.0/24 -p tcp --dport 443 -j REDIRECT --to 3128
[root@squid ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
3.3 web端配置
route add -net 192.168.40.0/24 gw 192.168.50.10##添加路由
3.4 client
GATEWAY地址指向与squit在同一网段的地址
修改为不使用代理
3.5 web端查看日志验证效果
从代理访问
四、ACL访问控制
- 常用的ACL列表类型
- src 源地址
- dst 目标地址
- port 端口号
- dstdomain 目标域
- time 访问时间
- maxconn 最大并发连接数
- url_regex 目标URL地址
- urlpath_regex 整个目标URL路径
acl localnet src fe80::/10 # RFC 4291 link-local (directly plugged) machines
acl client src 192.168.40.30/32 ## 添加
# Deny requests to certain unsafe ports
http_access deny !Safe_ports
http_access deny client ## 添加
客户机再次访问
五、squid日志分析
5.1 编译安装日志管理软件
yum -y install gd gd-devel ## 安装依赖环境
mkdir /usr/local/sarg
tar zxf sarg-2.3.7.tar.gz
cd sarg-2.3.7/
./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection
make && make install
5.2 修改配置文件
vi /etc/sarg/sarg.conf
7/ access_log /usr/local/squid/var/logs/access.log //指定访问日志文件
25/ title "Squid User Access Reports" //网页标题
120/ output_dir /var/www/html/squid-reports //报告输出目录
178/ user_ip no //使用用户名显示
206/ exclude_hosts /usr/local/sarg/noreport //不计入排序的站点列表文件
184/ topuser_sort_field connect reverse //top排序中有连接次数、访问字节、降序排列 升序是normal
(注释掉)190/ user_sort_field reverse //用户访问记录 连接次数、访问字节按降序排序
257/ overwrite_report no //同名日志是否覆盖
289/ mail_utility mailq.postfix //发送邮件报告命令
434/ charset UTF-8 //使用字符集
518/ weekdays 0-6 //top排行的星期周期
525/ hours 0-23 //top排行的时间周期
633/ www_document_root /var/www/html //网页根目录
5.3 优化路径并启动服务
touch /usr/local/sarg/noreport ## 添加不计入站点文件
ln -s /usr/local/sarg/bin/sarg /usr/local/bin
sarg
SARG: 纪录在文件: 203, reading: 100.00%
SARG: 成功的生成报告在 /var/www/html/squid-reports/2020Dec15-2020Dec16
5.4 安装httpd
yum -y install httpd
systemctl start httpd
5.5 验证
5.6 crontab 周期性计划任务每天生成报告
sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports/ -z -d $(date -d "1 day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)
crontab -e
0 2 * * * sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports/ -z -d $(date -d "1
day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)
六、反向代理
如果Squid反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的web服务器请求资源然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用
- 工作机制
- 缓存网页对象,减少重复请求
- 将互联网请求轮询或按权重分到到内网web服务器
- 代理用户请求,避免用户直接访问web服务器,提高安全性
##关闭squid服务端的httpd服务
iptables -F
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
vi /etc/squid.conf
http_port 192.168.40.10:80 accel vhost vport
cache_peer 192.168.50.20 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 192.168.50.40 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.yun.com
systemctl restart squid