squid代理服务器

目录

squid简介

主要功能及工作原理

                功能：

                主要作用

Squid代理的类型

squid代理服务器应用操作

        编译安装squid

        修改默认配置文件

         做iptables规则

        透明模式

                初始操作

                路由转发

        acl模式

日志

 squid反向代理

---

squid简介

        Squid（Squid cache，简称Squid）是一个支持HTTP，HTTPS，FTP等服务的Web缓存代理软件，它可以通过缓存页面来提高服务器的相应速度并降低带宽占用。并且，Squid还具有强大的访问控制功能。Squid可以运行在各种操作系统平台上。

        Squid（Squid cache，简称Squid）会将访问页面的结果缓存在硬盘和内存上。所以Squid对硬盘和内存的空间大小具有较高的要求。内存和硬盘越大，缓存的命中率就越高。但是真实服务器数据是实时更新的，因此，我们就需要不定期的清空缓存数据以保证用户访问结果的准确性。、

        Squid（Squid cache，简称Squid）是Linux系统中最常用的一款开源代理服务软件， 可以很好地实现HTTP和FTP，以及DNS查询、SSL等应用的缓存代理，功能十分强大

squid的官方网站为squid : Optimising Web Delivery

主要功能及工作原理

                功能：

        Squid 主要提供缓存加速、应用层过滤控制的功能。  

squid工作原理：客户端访问Squid代理服务器，由代理服务器代表客户访问后端真实服务器，真实服务器将响应的数据返回给Squid代理服务器，从而可以隐藏用户的真实 IP 地址，起到一定的保护作用。最后，Squid代理服务器将响应结果返回给客户端，同时将结果缓存在硬盘上及内存中，当客户端再次访问相同的网页时，代理服务器直接将响应结果返回给客户端，以便下次请求相同的数据时加快响应速度。

                主要作用

1. 资源获取:代替客户端实现从原始服务器的资源获取;

2. 加速访问:代理服务器可能离原始服务器更近，从而起到一定的加速作用;

3. 缓存作用:代理服务器保存从原始服务器所获取的资源，从而实现客户端快速

4. 隐藏真实地址:代理服务器代替客户端去获取原始服务器资源，从而隐藏客户端真实信息。

Squid代理的类型

        代理服务器有多种类型，一般意义上常分为标准正向代理服务器（传统代理服务器），透明代理服务器，反向代理服务器。

正向代理服务器：主要应用于内部网络希望访问外部网络时缓存页面数据。由于公网IP地址稀缺，企业内部成百上千台计算机不可能同时大欧连接到Internet上，目前的解决方案就是通过一个统一的网络接口连接Internet。Squid就可以提供这样的接口。所有的客户端通过设置代理服务器连接值Squid，通过代理上网。此模型下，Squid主要负责提供缓存加速服务和访问控制的功能。正向代理是对用户的一种操作。适用于Internet，需明确指定服务端

透明代理：与传统的正向代理相似，区别在于传统的正向代理需要每个客户端都进行代理服务器的设置。而透明代理通过网关进行部署。即，所有的设置都是由管理员在网关服务器以及代理服务器进行的。因此，透明代理对于用户是透明的，不需要用户进行任何设置。客户机不需要指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理

反向代理：结合智能DNS可以实现基本的CDN框架。通过DNS的分离解析功能，可以为不同地区的DNS请求解析不同的结果返回给客户端。用户访问时，感觉不到是在访问代理服务器。由于使用到了缓存技术，当大的并发量到达时，Squid也可以更快的给用户返回响应结果。如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的WEB服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。 

squid代理服务器应用操作

        编译安装squid

Squid服务端：

• 软件包：squid-3.5.27.tar.gz
• 系统服务：squid
• 主程序：/usr/bin/squid
• 主配置文件：/etc/squid.conf
• 默认监听地址：TCP 3128
• 默认访问日志：/var/log/squid/access.log
• 默认缓存日志：/var/log/squid/cache.log

首先安装gcc、gcc-c++和make工具 

[root@localhost /opt]# yum install gcc gcc-c++ make -y

 安装图像处理软件包

[root@localhost /opt]# yum install -y gd gd-devel pcre-devel

解压squid软件包

[root@localhost /opt]# tar xf squid-3.5.27.tar.gz

编译安装

[root@localhost /opt/squid-3.5.27]# ./configure --prefix=/usr/local/squid --sysconfdir=/etc --enable-arp-acl --enable-linux-netfilter --enable-linux-tproxy --enable-async-io=100 --enable-err-language="Simplify_Chinese" --enable-underscore --disable-poll --enable-epoll --enable-gnuregex

./configure --prefix=/usr/local/squid                 ##安装目录
--sysconfdir=/etc/                                    ##单独将配置文件修改到/etc目录下
--enable-arp-acl                                      ##可在ACL中设置通过MAC地址进行管理，防止IP欺骗
--enable-linux-netfilter                              ##使用内核过滤
--enable-linux-tproxy                                 ##支持透明模式
--enable-async-io=100                                 ##异步I/O，提升储存性能，值可修改
--enable-err-language="Simplify_Chinese"              ##错误信息的显示语言
--enable-underscore                                   ##允许URL中有下划线
--enable-poll                                         ##使用Poll()模式，提升性能
--enable-gnuregex                                     ##使用GNU正则表达式

 

[root@localhost /opt/squid-3.5.27]# make && make install

做一些优化，方便操作

[root@localhost /opt/squid-3.5.27]# ln -s /usr/local/squid/sbin/* /usr/local/sbin/
[root@localhost /opt/squid-3.5.27]# useradd -M -s /sbin/nologin squid
[root@localhost /opt/squid-3.5.27]# cd /usr/local/squid/
[root@localhost /usr/local/squid]# ls
bin  libexec  sbin  share  var
[root@localhost /usr/local/squid]# chown -R squid:squid var/

        修改默认配置文件

[root@localhost /usr/local/squid]# vim /etc/squid.conf

 squid -k parse                   ##检查配置文件
squid –k                      ##重新加载配置文件

squid                            ##开始squid

查看端口

[root@localhost /usr/local/squid]# ss -natp |grep squid
LISTEN     0      128         :::3128                    :::*                   users:(("squid",pid=114640,fd=11))

设置全局开启|关闭

[root@localhost ~]# vim /etc/init.d/squid

#!/bin/bash
#chkconfig: 35 90 25
#config: /etc/squid.conf
#pidfile: /usr/local/squid/var/run/squid.pid
#Description: Squid - Internet Object Cache

PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
        start)
                netstat -utpln | grep squid &>/dev/null
                if [ $? -eq 0 ]
                        then
                                echo "Squid is running"
                else
                        $CMD
                fi
        ;;
        stop)
                $CMD -k kill &>/dev/null
                rm -rf $PID &>/dev/null
        ;;
        status)
                [ -f $PID ] &>/dev/null
                        if [ $? -eq 0 ]
                          then
                                netstat -utpln | grep squid
                        else
                                echo "Squid is not running"
                        fi
        ;;
        restart)
                $0 stop &>/dev/null
                echo "正在关闭Squid..."
                $0 start &>/dev/null
                echo "正在启动Squid..."
        ;;
        reload)
                $CMD -k reconfigure
        ;;
        check)
                $CMD -k parse
        ;;
        *)
                echo "用法：{start | stop | restart | reload | check | status}"
esac

 执行权限

[root@localhost ~]# chmod +x /etc/init.d/squid
[root@localhost ~]# chkconfig --add squid
[root@localhost ~]# chkconfig squid on

重启

[root@localhost ~]# systemctl restart squid

初始化就做好了

         做iptables规则

清除iptables规则

[root@localhost /usr/local/squid]# iptables -F
[root@localhost /usr/local/squid]# iptables -t nat -F

建立iptables规则，不管从哪里来访问3128端口，都允许访问

[root@localhost /usr/local/squid]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

查看iptables规则

[root@localhost /usr/local/squid]# iptables -nL

 

 ------------------------------------------------准备一台web服务器----------------------------------------------------

 安装httpd服务，并开启

[root@localhost ~]# yum install httpd -y

[root@localhost ~]# systemctl start httpd.service

编写html文件

[root@localhost ~]# cd /var/www/html/
[root@localhost /var/www/html]# ls
index.html  xiaolizi.png

[root@localhost /var/www/html]# vim index.html


<html>
<body>
<h1>this is xb
<img src="http://192.168.37.105/xiaolizi.png"/>
</body>
</html>

开启日志

在squid代理服务器开启日志

[root@localhost /usr/local/squid/var/logs]# tail -f /usr/local/squid/var/logs/access.log

在web服务器开启日志

[root@localhost /var/log/httpd]# tail -f access_log

访问，要在浏览器设置使用代理服务器，刷新

 

查看日志

squid的日志

 

web服务的日志

 

 IP地址已经代理过去了

        透明模式

 

                初始操作

需要在squid服务器上添加一块网卡

 

[root@localhost /etc/sysconfig/network-scripts]# cp ifcfg-ens33 ifcfg-ens38
[root@localhost /etc/sysconfig/network-scripts]# vim ifcfg-ens33 
[root@localhost /etc/sysconfig/network-scripts]# vim ifcfg-ens38

 

 

 重启网卡

[root@localhost /etc/sysconfig/network-scripts]# systemctl restart network

在web服务器上修改网卡

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

重启网卡

[root@localhost ~]# systemctl restart network

 客户端IP要指一下网关

能ping通12.0.0.1就好，然后把局域网设置代理服务器，关掉。前期工作就做好了

                路由转发

-----------------------------------------------

在squid服务器开启路由转发功能

[root@localhost /etc/sysconfig/network-scripts]# echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf
[root@localhost /etc/sysconfig/network-scripts]# sysctl -p
net.ipv4.ip_forward = 1

 制定路由规则

[root@localhost /etc/sysconfig/network-scripts]# cd
[root@localhost ~]# iptables -t nat -I PREROUTING -i ens33 -s 192.168.37.106/24 -p tcp --dport 80 -j REDIRECT --to 3128
[root@localhost ~]# iptables -t nat -I PREROUTING -i ens33 -s 192.168.37.106/24 -p tcp --dport 443 -j REDIRECT --to 3128 

修改squid配置文件

root@localhost ~]# vim /etc/squid.conf

 http_port 192.168.37.106:3128 transparent

 重启服务

[root@localhost ~]# systemctl restart squid.service

修改一下HTML文件

root@localhost /var/www/html]# vim index.html

 

 

去网页登录

 透明模式就成功了！！！，但是遇到一个问题，图片不知道为什么显示出来，这个疑问想不出来，能力有限啊~~~~~

        acl模式

在配置文件squid.conf 中，ACL访问控制通过以下两个步骤来实现:
① 使用acl 配置项定义需要控制的条件;
② 通过http_access配置项对已定义的列表做“允许”或“拒绝”访问的控制。
1、定义访问控制列表
格式:
acl 列表名称  列表类型  列表内容 
列表名称：名称自定义，相当于给acl起个名字（有点类似于shell脚本变量名）
列表类型：必须使用squid预定义的值，对应不同类别的控制条件
列表内容：是要控制的具体对象，不同类型的列表所对应的内容也不一样，可以有多个值（以空格为分隔，为“或”的关系）

vim /etc/squid.conf
.......
acl localhost src 192.168.100.10/24             #源地址为192.168.184.10
acl MYLAN src 192.168.100.0/24                    #客户机网段
acl destinationhost dst 192.168.226.129/32      #目标地址为192.168.184.20 
acl MC20 maxconn 20                             #最大并发连接20
acl PORT port 21                                #目标端口21
acl DMBLOCK dstdomain.qq.com                    #目标域，匹配域内所有站点
acl BURL url_regex -i ^rtsp:// ^emule://           #以rtsp://. emule://开头的URL，-i表示忽略大小写
acl PURL urlpath_regex -i \.mp3$ \.mp4$ \.rmvb$ #以 .mp3、.mp4、.rmvb结尾的URL路径
acl WORKTIME time MTWHF 08:30-17:30             #时间为周一-至周五8:30~17:30， "MTWHF"为每个星期的英文首字母

[root@localhost ~]# vim /etc/squid.conf

 

 此时访问浏览器，是不可访问的

 

acl democlient  src 192.168.37.200
http_access deny  democlient
 

日志

Squid 日志分析

        sarg（Squid Analysis Report Generator），是一款squid日志分析工具，采用HTML格式，详细列出每一位用户访问Internet的站点信息、时间占用信息、排名、连接次数、访问量等

         一开就是装过图像管理软件了，因为之前做的操作需要关掉网关和dns解析，所有都安装过了。

将sarg-2.3.11.tar.gz包解压

[root@localhost /opt]# tar xf sarg-2.3.11.tar.gz

在/usr/local/下创建目录

[root@localhost /opt/sarg-2.3.11]# mkdir /usr/local/sarg

编译安装

[root@localhost /opt/sarg-2.3.11]# ./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection

--sysconfdir=/etc/sarg \     #配置文件目录，默认是/usr/loca/etc
--enable-extraprotection       #额外安全防护

[root@localhost /opt/sarg-2.3.11]# make && make install

修改配置文件

[root@localhost /opt/sarg-2.3.11]# vim /etc/sarg/sarg.conf

 --7行--取消注释
access_log /usr/local/squid/var/logs/access.log  #指定访问日志文件
--25行--取消注释
title "Squid User Access Reports"         #网页标题
--120行--取消注释，修改
output_dir /var/www/html/sarg              #报告输出目录
--178行--取消注释
user_ip no                               #使用用户名显示
--184行--取消注释，修改
topuser_sort_field connect reverse         #top排序中，指定连接次数采用降序排列，升序是normal
--190行--取消注释，修改
user_sort_field connect reverse          #对于用户访问记录，连接次数按降序排序
--206行--取消注释，修改
exclude_hosts /usr/local/sarg/noreport  #指定不计入排序的站点列表的文件
--257行--取消注释
overwrite_report no         #同名同日期的日志是否覆盖
--289行--取消注释，修改
mail_utility mailq.postfix       #发送邮件报告命令
--434行--取消注释，修改
charset UTF-8          #指定字符集UTF-8
--518行--取消注释
weekdays 0-6          #top排行的星期周期
--525行--取消注释
hours 0-23           #top排行的时间周期
--633行--取消注释
www_document_root /var/www/html      #指定网页根目录

添加不计入站点文件，添加的域名将不被显示在排序中 

[root@localhost /opt/sarg-2.3.11]# touch /usr/local/sarg/noreport

做一个软链接

[root@localhost /opt/sarg-2.3.11]# ln -s /usr/local/sarg/bin/sarg /usr/local/bin/

验证

你的代理服务器要有web服务，如果没有安装一个httpd即可，记得要把网关和dns注释去掉哦

[root@localhost /etc/sysconfig/network-scripts]# rpm -q httpd
httpd-2.4.6-97.el7.centos.2.x86_64

开启http服务和sarg服务

[root@localhost /usr/local/sarg]# systemctl start httpd.service
[root@localhost /usr/local/sarg]# sarg 
SARG: Records in file: 107, reading: 100.00%
SARG: Successful report generated on /var/www/html/sarg/2021Dec07-2021Dec07

在网页输入192.168.37.106/sarg 查看sarg报告网页

 squid反向代理

如果Squid反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端;否则反向代理服务器将向后台的Web服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

工作机制:
● 缓存网页对象，减少重复请求
● 将互联网请求轮询或按权重分配到内网web服务器
● 代理用户请求，避免用户直接访问Web服务器，提高安全

首先将http服务先关掉，然后重新制定iptables规则

[root@localhost /usr/local/sarg]# iptables -F
[root@localhost /usr/local/sarg]# iptables -t nat -F
[root@localhost /usr/local/sarg]# iptables -I INPUT -p tcp --dport 80 -j ACCEPT 

 修改配置文件

[root@localhost /usr/local/sarg]# vim /etc/squid.conf

 

重启服务

[root@localhost /usr/local/sarg]# vim /etc/squid.conf

 http_port 80 accel vhost vport
#squid从一个缓存变成了一个Web服务器反向代理加速模式，这个时候squid在80端口监听请求，同时和webserver的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。
accel :反向代理加速模式
vhost:支持域名或主机名来表示代理节点
vport :支持IP和端口来表示代理节点

parent :代表为父节点，上下关系，非平级关系
80:代理内部web服务器的80端口
0 :没有使用icp，表示就一台squid服务器
no-query :不做查询操作，直接获取数据
originserver :指定是源服务器
round-robin :指定squid 通过轮询方式将请求分发到其中一台父节点
max_conn :指定最大连接数
weight :指定 权重
name :设置别名

在两台web节点安装http服务

 编辑HTMLweb1

[root@localhost ~]# echo "this is test01" >> /var/www/html/index.html

web2

[root@localhost ~]# echo "this is test02" >> /var/www/html/index.html

浏览器重新指定代理80端口

在修改客户机的域名映射配置

测试

 

 

大功告成了！！！！

用IP刷新可能有缓存需要等待时间，可以域名和ip输入，就可以看到效果了。 

        真好又学了一招，但似乎没啥卵用，因为公司也不可能用代理服务器吧，除了第三方公司，不过该说不说，知识永无止境~~~~，啦啦啦！！！