Squid代理服务器应用
缓存代理概述
Web代理的工作机制
- 缓存网页对象,减少重复请求
- 代理的基本类型
- 传统代理:适用于Internet,需明确指定服务端
- 透明代理:客户机不需指定代理服务器的地址和端口,而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理
- 使用代理的好处
- 提高Web访问速度
- 隐藏客户机的真实IP地址
传统代理
设备明细
squid服务器:20.0.0.13
web1:20.0.0.14
web2:20.0.0.15
client:20.0.0.16
安装squid服务
添加安装包
解压缩
[root@squid ~]# tar zxvf squid-3.5.23.tar.gz
编译安装
[root@squid ~]# cd squid-3.5.23
[root@squid squid-3.5.23 ~]# ./configure --prefix=/usr/local/squid --sysconfdir=/etc --enable-arp-acl --enable-linux-netfilter --enable-linux-tproxy --enable-async-io=100 --enable-err-language="Simplify_Chinese" --enable-underscore --enable-poll --enable-gnuregex
./configure --prefix=/usr/local/squid \ # 安装路径
--sysconfdir=/etc \ # 配置文件根路径
--enable-arp-acl \ 允许arp的acl
--enable-linux-netfilter \ #linux_内核通过netfilter 模块实现网络访问控制功能
--enable-linux-tproxy \ #实现透明代理功能
--enable-async-io=100 \ #异步传输输入输出数量
--enable-err-language="Simplify_Chinese"\ #用中文报错
--enable-underscore \ #允许下划线
--enable-poll \ #协调读写设备个数或读写设备顺序的函数
--enable-gnuregex #c/c++常用的正则表达式
[root@squid squid-3.5.23 ~]# make && make install
[root@squid squid-3.5.23]# cd
[root@squid ~]# ln -s /usr/local/squid/sbin/* /usr/local/sbin/ # 创建链接使squid命令可以在本地使用
[root@squid ~]# useradd -M -s /sbin/nologin squid # 创建一个不可登录,不带宿主的用户
[root@squid ~]# chown -R squid.squid /usr/local/squid/var/ # 配置文件属主,属组
编辑配置文件
[root@squid ~]# vi /etc/squid.conf
在下图位置添加
cache_effective_user squid # 指定程序用户
cache_effective_group squid # 指定账号基本组
[root@squid ~]# squid -k parse # 检查语法
[root@squid ~]# squid -z # 初始化缓存目录
[root@squid ~]# squid # 启动服务
[root@squid ~]# netstat -anpt | grep squid # 查看端口状态
编辑管理文件
[root@squid ~]# vi /etc/init.d/squid
#!/bin/bash
#chkconfig:35 90 25
PID="/usr/local/squid/var/run/squid.pid" # 进程文件路径
CONF="/etc/squid.conf" # 配置文件路径
CMD="/usr/local/squid/sbin/squid" # 程序绝对路径
case $1 in
start)
netstat -anpt | grep squid &> /dev/null #输出不显示
if [ $? -eq 0 ]
then echo "squid is running"
else echo "正在启动squid"
$CMD
fi
;;
stop)
$CMD -k kill &> /dev/null
rm -rf $PID &> /dev/null
;;
reload)
$CMD -k reconfigure #重新配置
;;
status)
[ -f $PID ] &> /dev/null
if [ $? -eq 0 ]
then netstat -anpt | grep squid
else echo "squid is not running"
fi
;;
restart)
$0 stop &> /dev/null # 先关闭后开启:重启
$0 start &> /dev/null
;;
check)
$COM -k parse # 检查语法
;;
*)
echo "用法: $0{start|stop|status|restart|check|reload}"
esac
[root@squid ~]# chmod +x /etc/init.d/squid # 添加权限
[root@squid ~]# chkconfig --add /etc/init.d/squid #添加管理
[root@squid ~]# chkconfig --list
[root@squid ~]# systemctl stop squid # 服务关闭
[root@squid ~]# systemctl start squid #服务开启
[root@squid ~]# systemctl status squid #整块服务状态
[root@squid ~]# netstat -anpt | grep squid # 查看服务端口状态
传统代理服务器配置
[root@squid ~]# vi /etc/squid.conf
在下图中添加
http_access allow all # 允许所有(按顺序执行,先允许后拒绝)
cache_mem 64 MB
reply_body_max_size 10 MB
maximum_object_size 4096 KB
[root@squid ~]# squid -k parse
[root@squid ~]# systemctl stop squid
[root@squid ~]# systemctl start squid
[root@squid ~]# netstat -anpt | grep squid
关闭核心防护
[root@squid ~]# systemctl stop firewalld
[root@squid ~]# setenforce 0
[root@squid ~]# systemctl disable firewalld
[root@squid ~]# sed -i '/SELINUX/s/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@squid ~]# grep -v "#" /etc/selinux/config
web1上配置
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo "<h1>this is 11111</h1>" > /var/www/html/index.html
[root@web1 ~]# systemctl start httpd
[root@web1 ~]# curl http://localhost
关闭核心防护
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# setenforce 0
[root@web1 ~]# systemctl disable firewalld
[root@web1 ~]# sed -i '/SELINUX/s/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@web1 ~]# grep -v "#" /etc/selinux/config
在节点上查看日志信息
[root@web1 ~]# tail -f /var/log/httpd/access_log
web2 上配置
[root@web2 ~]# yum -y install httpd
[root@web2 ~]# echo "<h1>this is 22222</h1>" > /var/www/html/index.html
[root@web2 ~]# systemctl start httpd
[root@web2 ~]# curl http://localhost
关闭核心防护
[root@web2 ~]# systemctl stop firewalld
[root@web2 ~]# setenforce 0
[root@web2 ~]# systemctl disable firewalld
[root@web2 ~]# sed -i '/SELINUX/s/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
[root@web2 ~]# grep -v "#" /etc/selinux/config
在web节点上查看日志信息
[root@web2 ~]# tail -f /var/log/httpd/access_log
在client客户机上
[root@client ~]# curl http://20.0.0.14
[root@client ~]# curl http://20.0.0.15
在客户机浏览器上进行代理设置
修改服务器IP地址,端口号
在squid服务器上
[root@squid ~]# iptables -F # 清除所有规则
[root@squid ~]# iptables -I INPUT -p TCP --dport 3128 -j ACCEPT # 如果防火墙关闭,允许3128端口通过
浏览器访问 web1 web2
查看web1 web2的日志
[root@web1 ~]# tail -f /var/log/httpd/access_log
[root@web2 ~]# tail -f /var/log/httpd/access_log
透明代理
基础服务器
squid代理服务器:192.168.3.13 192.168.4.13
web1:192.168.4.14
web2: 192.168.4.15
client客户机:192.168.3.16
配置部署
[root@squid ~]# systemctl stop squid
添加网卡
[root@squid ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
[root@squid ~]# cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens36
[root@squid ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens36
[root@squid ~]# systemctl restart network
[root@squid ~]# ifconfig
开启网络服务
[root@squid ~]# systemctl stop firewalld
[root@squid ~]# setenforce 0
[root@squid ~]# echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
[root@squid ~]# sysctl -p
配置透明代理服务器
编辑配置文件
[root@squid ~]# vi /etc/squid.conf
修改添加
http_port 192.168.3.13:3128 transparent #透明代理
接收客户端的地址
[root@squid ~]# systemctl restart squid
[root@Squid ~]# iptables -F
[root@Squid ~]# iptables -t nat -F
[root@Squid ~]# iptables -t nat -I PREROUTING -i ens33 -s 192.168.3.0/24 -p tcp --dport 80 -j REDIRECT --to 3128
[root@Squid ~]# iptables -t nat -I PREROUTING -i ens33 -s 192.168.3.0/24 -p tcp --dport 443 -j REDIRECT --to 3128
[root@Squid ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
在web 1上
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# setenforce 0
[root@web1 ~]# route add -net 192.168.3.0/24 gw 192.168.4.13 # 添加一条静态路由
在web2 上
[root@web2 ~]# systemctl stop firewalld
[root@web2 ~]# setenforce 0
[root@web2 ~]# route add -net 192.168.3.0/24 gw 192.168.4.13 # 添加一条静态路由
访问测试
web1 web2查看日志
squid服务器上查看日志
Squid中ACL的使用
ACL访问控制
禁止客户机client访问网页
squid上配置
[root@squid ~]# vi /etc/squid.conf
添加
acl client src 192.168.3.13/32 # 先定义
http_access deny client # 后拒绝
[root@squid ~]# systemctl restart squid
访问测试
常用的ACL列表类型
src # 源地址
dst # 目标地址
port # 端口号
dstdomain #目标域
time # 访问时间
maxconn # 最大并发连接
url_regex #目标URL地址(正则表达式设置)
Urlpath_regex # 整个目标URL路径(正则表达式)
查看squid上的日志
Squid日志分析工具Sarg
部署配置
[root@squid ~]# yum -y install gd # 安装图像处理
[root@squid ~]# mkdir /usr/local/sarg #创建安装目录
[root@squid ~]# tar zxvf sarg-2.3.7.tar.gz #解压缩
[root@squid ~]# cd sarg-2.3.7/ #安装路径 系统配置文件
[root@squid sarg-2.3.7]# ./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection #开启额外的安全防护
[root@squid sarg-2.3.7]# make && make install #编译安装
[root@squid sarg-2.3.7]# cd
编辑配置文件
设置Sargent基础配置
[root@squid ~]# vi /etc/sarg/sarg.conf
:set nu #显示行号
修改编辑
:7 access_log /usr/local/squid/var/logs/access.log #指定访问日志文件
:25 title "Squid User Access Reports" #网页标题
:120 output_dir /var/www/html/squid-reports 报告输出目录
:178 user_ip no #使用用户名 显示
:206 修改添加 exclude_hosts /usr/local/sarg/noreport #不计入排序的站点列表文件
:184 topuser_sort_field connect reverse #top排序中有连接次数、访问字节、降序排列,升序是normal
(注释掉) 190(没有显示) user_sort_field reverse #用户访问记录连接次数、访问字节按降序排序
:257 overwrite_report no #同名日志是否覆盖
:289 修改 mail_utility mailx #发送邮件报告命令
:434 修改 charset UTF-8 #使用字符集
:518 weekdays 0-6 #top排行的星期周期
:525 hours 0-23 #top排行的时间周期
:633 www_document_root /var/www/html #网页根目录
创建不计入排序的站点列表文件
添加不计入站点文件
添加的域名将不被显示在排序中
[root@squid ~]# touch /usr/local/sarg/noreport
[root@squid ~]# ln -s /usr/local/sarg/bin/sarg /usr/local/bin/ #创建软链接
[root@squid ~]# cd /usr/local/squid/var/logs/ #查看日志文件
[root@squid logs]# ls -lh
[root@squid logs]# cd
[root@squid ~]# sarg #服务启动
[root@squid ~]# cd /var/www/html/squid-reports/2020Dec16-2020Dec16/ #查看文件内容
[root@squid 2020Dec16-2020Dec16]# ls -lh
[root@squid 2020Dec16-2020Dec16]# cd
安装http查看网页日志报告
[root@squid ~]# yum -y install httpd #安装http以便查看网页日志报告
[root@squid ~]# systemctl start httpd #服务启动
[root@squid ~]# netstat -anpt | grep httpd #查看端口状态
[root@squid ~]# cd /var/www/html #查看网页文件
[root@squid html]# ll
访问 192.168.3.13/squid-reports
日志分割管理
[root@squid ~]# which sarg #查看绝对路径
[root@squid ~]# crontab -e #计划配置
添加
* 3 * * * /usr/local/bin/sarg -l /usr/local/var/logs/access.log -o /var/www/html/squid-reports/ -z -d $(date -d "-1 day" +%Y-%m-%d)-$(date +%Y-%m-%d)
[root@squid ~]# date -d "-1 day" +%Y-%m-%d
Squid反向代理
如果Squid反向代理服务器中缓存了该请求的资源,则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的WEB服务器请求资源,然后将请求的应答返回给客户端,同时也将该应答缓存在本地,供下一个请求者使用。
工作原理
- 缓存网页对象,减少重复请求
- 将互联网请求轮询或按权重分配到内网Web服务器
- 代理用户请求,避免用户直接访问Web服务器,提高(客户端)安全
注 :在透明代理的基础上进行反向代理
因为httpd会占用80端口,所以必须关闭squid服务器中的httpd服务
[root@squid ~]# systemctl stop httpd
[root@squid ~]# systemctl stop httpd
[root@squid ~]# iptables -F
[root@squid ~]# iptables -t nat -F
[root@squid ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
[root@squid ~]# vi /etc/squid.conf #编辑配置文件
#添加修改
http_port 192.168.3.13:80 accel vhost vport
#调度缓存对象
cache_peer 192.168.4.14 parent 80 0 no-query originserver round-robin max_conn=100 weight=1 name=web1
cache_peer 192.168.4.15 parent 80 0 no-query originserver round-robin max_conn=100 weight=1 name=web2
cache peer_domain web1 web2 www.yum.com #设置域名
[root@squid ~]# iptables -F #清除所有规则
[root@squid ~]# iptables -F -t nat
[root@squid ~]# iptables -L -t nat # 查看nat上的所有规则
[root@squid ~]# systemctl stop squid #关闭服务
[root@squid ~]# systemctl start squid # 开启服务
[root@squid ~]# netstat -anpt | grep squid #查看端口状态
访问测试
查看日志