Squid代理服务器

Squid代理服务器概述

代理服务器的概念及其作用：
代理服务器是一个位于客户端和原始（资源）服务器之间的服务器，为了从原始服务器取得内容，
客户端向代理服务器发送一个请求并指定目标原始服务器，
然后代理服务器向原始服务器转交请求并将获得的内容返回给客户端。

代理的工作机制：
1、代替客户端向网站请求数据，不需要访问代理的ip地址，直接请求目的网站，有代理服务器处理请求和响应，可以隐藏用户的真实ip。
2、客户端访问目标网站之后，将静态web元素保存到缓存中，发送给客户端。下一次所有的客户机都可以使用缓存访问，加快访问速度。

squid代理的作用：
1、资源获取，代替客户端获取目标服务器的资源。
2、加速访问，代理服务器可能和目标服务器距离更近，可以起到一定的加速作用。
3、缓存作用，代理服务器会保存从目标服务器获取的资源，客户端下一次请求目标服务器时，直接访问缓存即可；也可以减轻目标服务器的压力。
4、隐藏真实的ip地址，代理服务器代替客户端请求，客户端的信息不会显示。

squid代理的类型：
1、传统代理，正向代理，需要在客户端指定好代理服务器的地址和端口。
2、透明代理，客户端不再需要指定代理服务器的地址和端口，而是通过默认路由来进行转发。(squid服务器不仅代理，还可以做为网关实现转发)
3、反向代理，在反向代理的squid服务器当中缓存了请求资源，将资源直接返回给客户端；
否则代理服务器会代理客户端向web服务器发起请求，然后再把请求的资源响应给客户端；
同时将响应缓存在本地，后续请求者都可以使用 (有缓存，直接响应缓存内容，没有缓存才会代替客户端请求web资源，响应结果先保存在缓存，然后响应给客户端，下一次直接访问缓存即可)

SNAT和DNAT与squid代理服务器的区别：

SNAT和DNAT：网络层，改变数据包头部的源ip和目的ip地址
代理服务器squid：应用层 ，不改变数据包的任何信息，直接把数据包发给代理，代理通过应用层过滤的方式来实现转发(有点像路由器)

nginx代理和squid代理的区别：

nginx代理：反向代理，为了实现负载均衡，也可以缓存，但是无法做正向，proxy_pass也还是反向代理

squid：正向代理服务器，例如vpn 可以正向代理、缓存加速，基于acl协议可以过滤控制

安装Squid服务

1.编译安装Squid

​systemctl stop firewalld
setenforce 0

yum -y install gcc gcc-c++ make
cd /opt
--拖入sarg和squid包--
tar zxvf squid-3.5.28.tar.gz -C /opt/
cd /opt/squid-3.5.28

./configure --prefix=/usr/local/squid \				#指定安装目录路径
--sysconfdir=/etc \									#指定配置文件路径
--enable-arp-acl \									#MAC地址管控，防止客户端使用IP欺骗
--enable-linux-netfilter \							#使用内核过滤
--enable-linux-tproxy \								#支持透明模式
--enable-async-io=100 \								#异步IO，提升存储性能
--enable-err-language="Simplify_Chinese" \			#错误信息的显示语言
--enable-underscore \								#允许URL中有下划线
--disable-poll \									#关闭默认使用 poll 模式
--enable-epoll \									#开启epoll模式提升性能
--enable-gnuregex									#使用GNU正则表达式

make && make install
ln -s /usr/local/squid/sbin/* /usr/local/sbin/
useradd -M -s /sbin/nologin squid
chown -R squid:squid /usr/local/squid/var/		    #此目录用于存放缓存文件

2.Squid服务器配置

vim /etc/squid.conf
......
--56行--插入
http_access allow all				#放在 http_access deny all 之前，允许任意客户机使用代理服务，控制规则自上而下匹配
http_access deny all
http_port 3128						#用来指定代理服务监听的地址和端口(默认的端口号为 3128)
--61行--插入
cache_effective_user squid			#添加，指定程序用户，用来设置初始化、运行时缓存的账号,否则启动不成功
cache_effective_group squid			#添加，指定账号基本组

coredump_dir /usr/local/squid/var/cache/squid		#指定缓存文件目录

3.Squid的运行控制

squid -k parse

#启动 Squid，第一次启动 Squid 服务时，会自动初始化缓存目录
squid -z 					#-z 选项用来初始化缓存目录
squid						#启动 squid 服务

netstat -anpt | grep squid
squid -N -d1                #检测运行过程是否正常

4.创建Squid服务脚本

vim /etc/init.d/squid
#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
   start)
     netstat -natp | grep squid &> /dev/null
     if [ $? -eq 0 ]
     then
       echo "squid is running"
     else
       echo "正在启动 squid..."
       $CMD
     fi
   ;;
   stop)
     $CMD -k kill &> /dev/null
     rm -rf $PID &> /dev/null
   ;;
   status)
     [ -f $PID ] &> /dev/null
        if [ $? -eq 0 ]
          then
            netstat -natp | grep squid
          else
            echo "squid is not running"
        fi
   ;;
   restart)
      $0 stop &> /dev/null
      echo "正在关闭 squid..."
      $0 start &> /dev/null
      echo "正在启动 squid..."
   ;;
   reload)
      $CMD -k reconfigure
   ;;
   check)
      $CMD -k parse
   ;;
   *)
      echo "用法：$0{start|stop|status|reload|check|restart}"
   ;;
esac

#2345是默认自启动级别，如是-代表任何级别都不自启动；90是启动优先级，
#25是停止优先级，优先级范围是0－100，数字越大，优先级越低。

chmod +x /etc/init.d/squid
chkconfig --add squid
chkconfig --level 35 squid on

构建传统代理服务器

实验配置：
客户端：20.0.0.10
squid代理：20.0.0.20
Web服务器：20.0.0.61

1.Squid服务器配置

#Squid服务器配置
vim /etc/squid.conf
......
http_access allow all
http_access deny all
http_port 3128
cache_effective_user squid
cache_effective_group squid
--63行--插入
cache_mem 2000 MB    #缓存功能使用的内存空间大小，容量最好为4的倍数，单位用MB，建议时内存容量的1/4
reply_body_max_size 100 MB	#允许用户下载的最大文件大小，若超过这个值，浏览器会提示请求或访问太大
maximum_object_size 100 MB	#能够缓存的对象的最大值，若超过此单位则不会被缓存，不会被丢弃而是直接返回给用户

service squid restart
systemctl restart squid

2.配置防火墙策略 

#生产环境中还需要修改防火墙规则
iptables -F
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

3.web端配置静态页面

#配置静态界面
61：
systemctl restart nginx
vim /usr/local/nginx/html/index.html
--
this is squid!
--
curl 20.0.0.61
this is squid!

 4.客户机打开代理服务

#客户机的代理配置
打开浏览器，工具-->Internet选项-->连接-->局域网设置-->开启代理服务器（地址：Squid服务器IP地址，端口：3128）

5. 测试

#查看 Squid 访问日志的新增记录中的缓存命中情况
tail -f /usr/local/squid/var/logs/access.log
TCP_MEM_HIT/200

TCP_REFRESH_UNMODIFIED/304: TCP_REFRESH_UNMODIFIED 表示该请求是由于缓存未过期，
直接返回未修改的响应。304 表示 HTTP 状态码为 304（未修改）。

#查看 Web 访问日志的新增记录
tail -f /var/log/httpd/access_log
在浏览器输入Web服务器IP地址访问，查看Web服务器访问日志，显示的是由代理服务器替客户机在访问。

构建透明代理服务器

实验配置：
客户端：20.0.0.10
Web服务器：12.0.0.12
squid代理双网卡
内网ens33：20.0.0.20
外网ens36：12.0.0.254

1.Squid服务器新添网卡 

#浏览器关闭指定代理

#squid添加网络适配器
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33
--
TYPE = Ethernet
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
IPADDR=20.0.0.20
NETMASK=255.255.255.0
#GATEWAY=20.0.0.2
#DNS1=218.2.135.1
--

cp ifcfg-ens33 ifcfg-ens36
vim ifcfg-ens36
--修改--
DEVICE=ens36
IPADDR=12.0.0.254
--

systemctl restart network
ifconfig

2.配置web服务器网卡

61：
cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33
--
TYPE = Ethernet
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
IPADDR=12.0.0.12
NETMASK=255.255.255.0
GATEWAY=12.0.0.254
#DNS1=218.2.135.1
--
systemctl restart network

 3.Squid服务器配置

#squid打开转发功能
vim /etc/squid.conf
......
http_access allow all
http_access deny all
--60行--修改添加提供内网服务的IP地址，和支持透明代理选项 transparent
#http_port 3128
http_port 20.0.0.20:3128 transparent
#之前的端口配置注释掉,重启之后会有端口冲突，记得杀掉之前的进程。

ss -antp | grep 3128
#若端口冲突，先杀进程
systemctl restart squid
squid -k parse
squid -N -d1

 4.开启路由转发

#开启路由转发，实现本机中不同网段的地址转发
echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
sysctl -p

5.配置防火墙策略

#修改防火墙规则
iptables -F
iptables -t nat -F
iptables -t nat -I PREROUTING -i ens33 -s 20.0.0.0/24 -p tcp --dport 80 -j REDIRECT --to 3128	
#用于转发http协议

iptables -t nat -I PREROUTING -i ens33 -s 20.0.0.0/24 -p tcp --dport 443 -j REDIRECT --to 3128	
#用于转发https协议

iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

6.配置客户端网卡

#客户端
TYPE = Ethernet
DEVICE=ens33
ONBOOT=yes
BOOTPROTO=static
IPADDR=20.0.0.10
NETMASK=255.255.255.0
GATEWAY=20.0.0.20  #指向squid代理的网关
#DNS1=218.2.135.1

7.测试 

#查看squid访问日志的新增记录
tail -f /usr/local/squid/var/logs/access.log 

#查看web访问日志的新增记录，显示的是由代理服务器的外网口代替客户机在访问
tail -f /var/log/httpd/access_log

ACL访问控制

在配置文件 squid.conf 中，ACL 访问控制通过以下两个步骤来实现：
(1)使用 acl 配置项定义需要控制的条件；
(2)通过 http_access 配置项对已定义的列表做“允许”或“拒绝”访问的控制。

1.拒绝指定源主机访问

格式：
acl 列表名称 列表类型 列表内容 …

vim /etc/squid.conf
......
acl myhost1 src 20.0.0.10/32
http_access deny myhost1


systemctl restart squid
squied -N -d1

vim /etc/squid.conf
......
acl myhost1 src 20.0.0.10/32
#删除--http_access deny myhost1--

systemctl restart squid

 2.拒绝访问指定目的主机

mkdir /etc/squid
cd /etc/squid/
vim dest.list
12.0.0.12            #可以指定多个地址

vim /etc/squid.conf
...
acl myhost1 src 20.0.0.10/32
acl myhost2 dst "/etc/squid/dest.list"
http_access deny myhost2

systemctl restart squid

vim /etc/squid.conf
...
acl myhost1 src 20.0.0.10/32
acl myhost2 dst "/etc/squid/dest.list"
#删除--http_access deny myhost2--

systemctl restart squid

构建反向代理服务器

工作机制：
●缓存网页对象，减少重复请求
●将互联网请求轮训或按权重分配到内网Web服务器
●代理用户请求，避免用户直接访问Web服务器，提高安全

1.Squid服务器配置

vim /etc/squid.conf
......
--60行--修改，插入
http_port 192.168.233.20:80 accel vhost vport
cache_peer 20.0.0.61 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 20.0.0.62 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.pup.com
#表示对www.pup.com的请求，squid向20.0.0.61和20.0.0.62的80端口发出请求

systemctl restart squid
squid -N -d1
ss -antp | grep :80

-------------------------------------------------------------------------------------------
http_port 80 accel vhost vport #squid从一个缓存变成了一个Web服务器反向代理加速模式，
这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，
这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。
accel ：反向代理加速模式
vhost ：支持域名或主机名来表示代理节点
vport ：支持IP和端口来表示代理节点

parent ：代表为父节点，上下关系，非平级关系
80 ：代理内部web服务器的80端口
0 ：没有使用icp（电信运营商），表示就一台squid服务器
no-query ：不做查询操作，直接获取数据
originserver ：指定是源服务器
round-robin ：指定 squid 通过轮询方式将请求分发到其中一台父节点
max_conn ：指定最大连接数
weight ： 指定权重
name ：设置别名
-------------------------------------------------------------------------------------------

2.配置防火墙策略

//清空之前透明模式配置的 iptables 规则
iptables -F
iptables -t nat -F

3.web端配置静态页面

#节点1：
echo "this is test1" > /usr/local/nginx/html/index.html
#节点2：
echo "this is test2" > /usr/local/nginx/html/index.html

4.配置客户端的域名映射

echo "20.0.0.20 www.pup.com" >>/etc/hosts

5.测试

浏览器不开启代理访问 http://www.pup.com