一:什么是squid
1、Squid是基于Unix的代理服务器(proxy server),它缓存比起点源点更接近请求者的互联网内容。Squid支持缓存多种不同的网络对象,包括那些通过HTTP和FTP访问的人。缓存频繁要求网页、媒体文件和其它加速回答时间并减少带宽堵塞的内容。
2、Squid代理服务器(Squid proxy server)一般和原始文件一起安装在单独服务器而不是网络服务器上。Squid通过追踪网络中的对象运用起作用。Squid最初担当中介,仅仅是把客户要求传递到服务器并存储要求对象的拷贝。如果同一个客户或同一批客户在要求还在Squid缓存(cache)时要求相同的对象,Squid就可以立刻服务,加速下载并保存带宽。
3、squid是一种用来缓存Internet数据的软件。接受来自人们需要下载的目标(object)的请求并适当的处理这些请求。也就是说,如果一个人想下载一web界面,他请求squid为他取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后,squid显式地聚集数据到客户端机器,而且同时复制一份。当下一次有人需要同一页面时, squid可以简单的从磁盘中读到它,那样数据会立即传输到客户机子上。
二、缓存代理概述
2.1、Squid代理的工作机制
缓存网页对象,减少重复请求
当代理服务器中有客户端需要的数据时:
a. 客户端向代理服务器发送数据请求;
b. 代理服务器检查自己的数据缓存;
c. 代理服务器在缓存中找到了用户想要的数据,取出数据;
d. 代理服务器将从缓存中取得的数据返回给客户端。
当代理服务器中没有客户端需要的数据时:
a. 客户端向代理服务器发送数据请求;
b. 代理服务器检查自己的数据缓存;
c. 代理服务器在缓存中没有找到用户想要的数据;
d. 代理服务器向Internet 上的远端服务器发送数据请求;
f. 远端服务器响应,返回相应的数据;
g. 代理服务器取得远端服务器的数据,返回给客户端,并保留一份到自己的数据缓存中。
2.2、代理的基本类型
2.2.1、传统代理:适用于Internet,需明确指定服务端
2.2.2、透明代理:客户机不需指定代理服务器的地址和端口,而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理
2.3、使用代理的好处
2.3.1、提高Web访问速度
2.3.2、隐藏客户机的真实IP地址
三、squid主要组成部分
四、传统代理的部署
主机 | ip |
---|---|
squid | 20.0.0.10 |
web服务器 | 20.0.0.11 |
客户机 | 20.0.0.12 |
4.1配置squid
1.安装依赖环境
[root@squid ~]# yum -y install gcc gcc-c++ make
2.安装squid服务
[root@squid ~]# tar zxf squid-3.5.23.tar.gz -C /opt
[root@squid ~]# cd /opt/squid-3.5.23/
[root@squid squid-3.5.23]# ./configure --prefix=/usr/local/squid \
> --sysconfdir=/etc \ ###指定配置文件位置
> --enable-arp-acl \ ###支持acl访问控制列表
> --enable-linux-netfilter \ ###打开网络筛选
> --enable-linux-tproxy \ ###支持透明代理
> --enable-async-io=100 \ ###io优化
> --enable-err-language="Simplify_Chinese" \ ###报错显示简体中文
> --enable-underscore \ ###支持下划线
> --enable-poll \ ###默认使用poll模式,开启epoll模式时提升性能
> --enable-gnuregex ###支持正则表达式
[root@squid squid-3.5.23]# make && make install
3.优化路径
1 [root@squid squid-3.5.23]# ln -s /usr/local/squid/sbin/* /usr/local/sbin
2 [root@squid squid-3.5.23]# useradd -M -s /sbin/nologin squid ###创建不可登录的程序用户
3 [root@squid squid-3.5.23]# chown -R squid.squid /usr/local/squid/var
4.修改配置文件,优化启动项
[root@squid ~]# vi /etc/squid.conf
cache_effective_user squid #添加 指定程序用户
cache_effective_group squid #添加 指定账号基本组
[root@squid ~]# squid -k parse ###检查配置文件语法
[root@squid ~]# squid -z ###初始化缓存目录
[root@squid ~]# squid ###启动服务
[root@squid ~]# netstat -anpt | grep squid
tcp6 0 0 :::3128 :::* LISTEN 104314/(squid-1)
5.添加服务到service管理
[root@squid ~]# vi /etc/init.d/squid
#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"
case "$1" in
start)
netstat -natp | grep squid &> /dev/null
if [ $? -eq 0 ]
then
echo "squid is running"
else
echo "正在启动 squid..."
$CMD
fi
;;
stop)
$CMD -k kill &> /dev/null
rm -rf $PID &> /dev/null
;;
status)
[ -f $PID ] &> /dev/null
if [ $? -eq 0 ]
then
netstat -natp | grep squid
else
echo "squid is not running"
fi
;;
restart)
$0 stop &> /dev/null
echo "正在关闭 squid..."
$0 start &> /dev/null
echo "正在启动 squid..."
;;
reload)
$CMD -k reconfigure
;;
check)
$CMD -k parse
;;
*)
echo "用法:$0{start|stop|status|reload|check|restart}"
;;
esac
[root@squid ~]# chmod +x /etc/init.d/squid
[root@squid ~]# chkconfig --add squid
[root@squid ~]# chkconfig --level 35 squid on
6.配置传统代理
[root@squid ~]# vi /etc/squid.conf
And finally deny all other access to this proxy
http_access allow all #添加
http_access deny all
Squid normally listens to port 3128
http_port 3128
cache_mem 64 MB ###指定缓存功能所使用的内存空间大小,便于保持访问较频繁的WEB对象,容量最好为4的倍数,单位为MB,建议设为物理内存的1/4
reply_body_max_size 10 MB ###允许用户下载的最大文件大小,以字节为单位。默认设置0表示不进行限制
maximum_object_size 4096 KB ###允许保存到缓存空间的最大对象大小,以KB为单位,超过大小限制的文件将不被缓存,而是直接转发给用户
[root@squid ~]# setenforce 0
[root@squid ~]# iptables -F
[root@squid ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
[root@squid ~]# systemctl restart squid
4.2.Web服务器配置
[root@web ~]# yum -y install httpd
[root@web ~]# cd /var/www/html/
[root@web html]# vi index.html
<h1>this is a web!!!</h1>
[root@web html]# systemctl restart httpd
[root@web html]# netstat -anpt | grep httpd
tcp6 0 0 :::80 :::* LISTEN 3432/httpd
[root@web html]# curl http://localhost
<h1>this is web!!!</h1>
4.3.客户机测试
9.查看日志文件,看访问的IP
10.再网页上进行代理配置并测试
11.查看日志文件,看访问的IP
五、透明代理
5.1 环境
在搭建的传统代理基础上做如下修改:
①squid服务器添加一块网卡:192.168.100.137(仅主机模式);开启路由转发功能,开启透明代理;配置防火墙规则;
②web服务器不变;
③客户端IP地址修改为192.168.100.101,且浏览器关闭手动代理设置
主机 | 地址 |
---|---|
Squid服务器 | 内网地址:192.168.100.137 |
Squid服务器 | 外网地址:20.0.0.10 |
web服务器 | 外网地址:20.0.0.11 |
客户机 | 内网地址:192.168.100.101 |
5.2 squid服务器配置
1.开启路由功能
[root@squid ~]# vi /etc/sysctl.conf
net.ipv4.ip_forward = 1 #末尾添加
[root@squid ~]# sysctl -p
net.ipv4.ip_forward = 1
2.修改配置文件
[root@squid ~]# vi /etc/squid.conf
http_port 192.168.100.137:3128 transparent
[root@squid ~]# systemctl restart squid.service
[root@squid squid-3.5.23]# netstat -anpt | grep squid
3. 设置防火墙规则
iptables -F
[root@squid ~]# iptables -t nat -F
[root@squid ~]# iptables -t nat -I PREROUTING -i ens37 -s 192.168.100.0/24 -p tcp --dport 80 -j REDIRECT --to 3128
[root@squid ~]# iptables -t nat -I PREROUTING -i ens37 -s 192.168.100.0/24 -p tcp --dport 443 -j REDIRECT --to 3128
[root@squid ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
5.3 配置web服务器
添加静态路由
[root@web ~]# route add -net 192.168.100.0/24 gw 20.0.0.10 ###添加一条静态路由
5.4 修改客户机网关
修改网关,使客户机指向squid服务器
5.5 客户机测试
修改浏览器代理
测试
5.6 查看web服务器二进制文件
[root@web html]# cat /var/log/httpd/access_log
六、Squid日志分析
6.1安装环境
[root@Squid ~]# yum -y install gd ###图像处理
[root@squid ~]# mkdir /usr/local/sarg
[root@squid ~]# tar zxf sarg-2.3.7.tar.gz -C /opt
[root@squid ~]# cd /opt/sarg-2.3.7/
[root@squid sarg-2.3.7]# ./configure \
> --prefix=/usr/local/sarg \
> --sysconfdir=/etc/sarg \ ###配置文件目录,默认是/usr/local/etc
> --enable-extraprotection ###添加额外的安全保护
[root@squid sarg-2.3.7]# make && make install
6.2 修改配置文件
[root@squid ~]# vi /etc/sarg/sarg.conf
7/ access_log /usr/local/squid/var/logs/access.log //指定访问日志文件
25/ title "Squid User Access Reports" //网页标题
120/ output_dir /var/www/html/squid-reports //报告输出目录
178/ user_ip no //使用用户名显示
206/ exclude_hosts /usr/local/sarg/noreport //不计入排序的站点列表文件
184/ topuser_sort_field connect reverse //top排序中有连接次数、访问字节、降序排列 升序是normal
(注释掉)190/ # user_sort_field reverse //用户访问记录 连接次数、访问字节按降序排序
257/ overwrite_report no //同名日志是否覆盖
289/ mail_utility mailq.postfix //发送邮件报告命令
434/ charset UTF-8 //使用字符集
518/ weekdays 0-6 //top排行的星期周期
525/ hours 0-23 //top排行的时间周期
633/ www_document_root /var/www/html //网页根目录
6.3添加不计入站点文件,添加的域名将不被显示在排序中
[root@squid ~]# touch /usr/local/sarg/noreport
做软链接,启动服务
ln -s /usr/local/sarg/bin/sarg /usr/local/bin
6.4 安装httpd启动服务
yum -y install httpd
systemctl start httpd
6.5 查看
生成每日报告
七、squid反向代理
1.先把squid服务器上的httpd 服务关闭
7.1suqid服务器配置
http_port 20.0.0.10:80 accel vhost vport
cache_peer 20.0.0.11 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 20.0.0.13 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.gwr.com
7.2web1,web2服务器配置
安装httpd服务
yum -y install httpd
sysytemctl start httpd
echo "<h1>this is web1</h1>" > /var/www/html/index.html ## web2服务器上 添加web2
netstat -anpt | grep httpd
route add -net 192.168.100.0/24 gw 20.0.0.10 ###添加静态路由