Squid服务器应用基础

最新推荐文章于 2022-06-27 04:19:29 发布

程序员9526

最新推荐文章于 2022-06-27 04:19:29 发布

阅读量410

点赞数 6

文章标签：服务器 squid

本文链接：https://blog.csdn.net/xwy9526/article/details/109800050

版权

文章目录

摘要
代理的基本类型
传统代理
透明代理
ACL控制
Squid日志分析
Squid反向代理
附加

摘要

Squid是基于Unix的代理服务器（proxy server），它缓存比起点源点更接近请求者的互联网内容。Squid支持缓存多种不同的网络对象，包括那些通过HTTP和FTP访问的人。缓存频繁要求网页、媒体文件和其它加速回答时间并减少带宽堵塞的内容。
Squid代理服务器（Squid proxy server）一般和原始文件一起安装在单独服务器而不是网络服务器上。Squid通过追踪网络中的对象运用起作用。Squid最初担当中介，仅仅是把客户要求传递到服务器并存储要求对象的拷贝。如果同一个客户或同一批客户在要求还在Squid缓存（cache）时要求相同的对象，Squid就可以立刻服务，加速下载并保存带宽。
squid是一种用来缓存Internet数据的软件。接受来自人们需要下载的目标（object）的请求并适当的处理这些请求。也就是说，如果一个人想下载一web界面，他请求squid为他取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后，squid显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时， squid可以简单的从磁盘中读到它，那样数据会立即传输到客户机子上。

Squid代理的工作机制

缓存网页对象，减少重复请求

在这里插入图片描述

当代理服务器中有客户端需要的数据时：
a. 客户端向代理服务器发送数据请求；
b. 代理服务器检查自己的数据缓存；
c. 代理服务器在缓存中找到了用户想要的数据，取出数据；
d. 代理服务器将从缓存中取得的数据返回给客户端。
当代理服务器中没有客户端需要的数据时：
a. 客户端向代理服务器发送数据请求；
b. 代理服务器检查自己的数据缓存；
c. 代理服务器在缓存中没有找到用户想要的数据；
d. 代理服务器向Internet 上的远端服务器发送数据请求；
f. 远端服务器响应，返回相应的数据；
g. 代理服务器取得远端服务器的数据，返回给客户端，并保留一份到自己的数据缓存中。

代理的基本类型

传统代理：适用于Internet，需明确指定服务端
透明代理：客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理

使用代理的好处

提高Web访问速度
隐藏客户机的真实IP地址

squid主要组成部分
在这里插入图片描述

传统代理

设备类别
在这里插入图片描述
安装依赖环境

[root@squid ~]# yum -y install gcc gcc-c++ make

编译安装squid服务

[root@squid ~]# cd /opt
[root@squid /opt]# tar zxf squid-3.5.23.tar
 [root@squid ~]# cd //squid-3.5.23/
 [root@squid squid-3.5.23]# ./configure --prefix=/usr/local/squid \
[root@Squid squid-3.5.23]# ./configure --prefix=/usr/local/squid \
> --sysconfdir=/etc \ ###指定配置文件位置
> --enable-arp-acl \ ###支持acl访问控制列表
> --enable-linux-netfilter \ ###打开网络筛选
> --enable-linux-tproxy \ ###支持透明代理
> --enable-async-io=100 \ ###io优化
> --enable-err-language="Simplify_Chinese" \ ###报错显示简体中文
> --enable-underscore \ ###支持下划线
> --enable-poll \ ###默认使用poll模式，开启epoll模式时提升性能
> --enable-gnuregex ###支持正则表达式
 [root@squid squid-3.5.23]# make && make install

优化路径

 [root@squid squid-3.5.23]# ln -s /usr/local/squid/sbin/* /usr/local/sbin 
 [root@squid squid-3.5.23]# useradd -M -s /sbin/nologin squid  //创建不可登录的程序用户
 [root@squid squid-3.5.23]# chown -R squid.squid /usr/local/squid/var

修改配置文件，优化启动项

[root@squid ~]# vi /etc/squid.conf
# Leave coredumps in the first cache dir //后面添加两行
cache_effective_user squid        #添加   指定程序用户
cache_effective_group squid       #添加   指定账号基本组

[root@squid ~]# squid -k parse ###检查配置文件语法
[root@squid ~]# squid -z ###初始化缓存目录
[root@squid ~]# squid ###启动服务
[root@squid ~]# netstat -anpt | grep squid
tcp6       0      0 :::3128                 :::*                    LISTEN      104314/(squid-1)

添加服务到service管理，编写脚本，执行并修改权限

[root@Squid ~]# vi /etc/init.d/squid
#!/bin/bash
#chkconfig: 2345 90 25
PID="/usr/local/squid/var/run/squid.pid"
CONF="/etc/squid.conf"
CMD="/usr/local/squid/sbin/squid"

case "$1" in
   start)
     netstat -natp | grep squid &> /dev/null
     if [ $? -eq 0 ]
     then
       echo "squid is running"
       else
       echo "正在启动 squid..."
       $CMD
     fi
   ;;
   stop)
     $CMD -k kill &> /dev/null
     rm -rf $PID &> /dev/null
   ;;
   status)
     [ -f $PID ] &> /dev/null
        if [ $? -eq 0 ]
          then
            netstat -natp | grep squid
          else
            echo "squid is not running"
        fi
   ;;
   restart)
      $0 stop &> /dev/null
      echo "正在关闭 squid..."
         $0 start &> /dev/null
      echo "正在启动 squid..."
   ;;
   reload)
      $CMD -k reconfigure
   ;;
   check)
      $CMD -k parse
   ;;
   *)
      echo "用法：$0{start|stop|status|reload|check|restart}"
   ;;
esac

[root@Squid ~]# chmod +x /etc/init.d/squid
[root@Squid ~]# chkconfig --add squid
[root@Squid ~]# chkconfig --level 35 squid on

配置传统代理

[root@squid ~]# vi /etc/squid.conf
# And finally deny all other access to this proxy
http_access allow all              #添加

# Squid normally listens to port 3128
http_port 3128
cache_mem 64 MB              ###指定缓存功能所使用的内存空间大小，便于保持访问较频繁的WEB对象，容量最好为4的倍数，单位为MB，建议设为物理内存的1/4
reply_body_max_size 10 MB     ###允许用户下载的最大文件大小，以字节为单位。默认设置0表示不进行限制
maximum_object_size 4096 KB     ###允许保存到缓存空间的最大对象大小，以KB为单位，超过大小限制的文件将不被缓存，而是直接转发给用户

[root@squid ~]# setenforce 0
[root@squid ~]# iptables -F
[root@squid ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
[root@squid ~]# systemctl restart squid

Web服务器配置
安装httpd，并设置默认网页内容

[root@web ~]# yum -y install httpd
[root@web ~]# cd /var/www/html/
[root@web html]# vi index.html
<h1>wang</h1>
[root@web html]# systemctl restart httpd
[root@web html]# netstat -anpt | grep httpd
tcp6       0      0 :::80                   :::*                    LISTEN      3432/httpd
[root@web html]# curl http://localhost
<h1>wang</h1>

客户机测试
在这里插入图片描述
在web服务器上查看日志文件，看访问的IP（发现是客户机的ip）

[root@server1 ~]#cat /var/log/httpd/access_log
::1 - - [19/Nov/2020:10:05:06 +0800] "GET / HTTP/1.1" 200 14 "-" "curl/7.29.0"
20.0.0.12 - - [19/Nov/2020:10:05:34 +0800] "GET / HTTP/1.1" 200 14 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
20.0.0.12 - - [19/Nov/2020:10:05:34 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
20.0.0.12 - - [19/Nov/2020:10:05:34 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"

网页上设置代理配置并测试，高级 配置访问国家互联网的代理
手动配置代理 20.0.0.10   3128

修改后再次访问web服务器，查看日志文件，看访问的IP（成功变成Squid服务器的IP）

[root@server1 ~]#  cat /var/log/httpd/access_log
::1 - - [19/Nov/2020:10:05:06 +0800] "GET / HTTP/1.1" 200 14 "-" "curl/7.29.0"
20.0.0.12 - - [19/Nov/2020:10:05:34 +0800] "GET / HTTP/1.1" 200 14 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
20.0.0.12 - - [19/Nov/2020:10:05:34 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
20.0.0.12 - - [19/Nov/2020:10:05:34 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
20.0.0.10 - - [19/Nov/2020:10:32:43 +0800] "GET / HTTP/1.1" 200 14 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
20.0.0.10 - - [19/Nov/2020:10:32:43 +0800] "GET /favicon.ico HTTP/1.1" 404 209 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"

透明代理

在搭建的传统代理基础上做如下修改：

squid服务器添加一块网卡：192.168.100.10（仅主机模式）；开启路由转发功能，开启透明代理；配置防火墙规则；

web服务器不变；

客户端IP地址修改为192.168.100.20，且浏览器关闭手动代理设置
在这里插入图片描述
Squid服务器配置
squid服务器添加网卡

修改IP地址

cd /etc/sysconfig/network-scripts/
cp -p ifcfg-ens33 ifcfg-ens37

vi ifcfg-ens37  ##修改ens37ip信息
YPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.10
NETMASK=255.255.255.0
GATEWAY=192.168.100.2
DNS=20.0.0.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens37
DEVICE=ens37
ONBOOT=yes

//重启网络服务
service network restart   
 
//开启路由转发
[root@squid ~]# vi /etc/sysctl.conf
net.ipv4.ip_forward = 1           #末尾添加
[root@squid ~]# sysctl -p
net.ipv4.ip_forward = 1

sysctl -p   ##加载使之生效

开启透明代理

//修改配置文件
vim /etc/squid.conf
#http_port 3128  #删除添加下面这行，地址为与客户机在同网段的地址
http_port 192.168.100.10:3128 transparent     

service squid restart
netstat -ntap | grep 3128

设置防火墙规则

iptables -F    #清空表缓存
iptables -t nat -F
iptables -t nat -I PREROUTING -i ens37 -s 192.168.100.0/24 -p tcp --dport 80 -j REDIRECT --to 3128 //定义规则入口ens37，80端口重定向到3128
iptables -t nat -I PREROUTING -i ens37 -s 192.168.100.0/24 -p tcp --dport 443 -j REDIRECT --to 3128 //允许3128端口访问
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
iptables -t nat -L

客户机测试（客户机网关要设置成Squid内网网关IP）（关闭手动代理，使用不使用代理）

访问并在web端查看日志
在这里插入图片描述

2020年 11月 19日 星期四 11:01:16 CST
[root@server1 ~]#  cat /var/log/httpd/access_log
::1 - - [19/Nov/2020:10:05:06 +0800] "GET / HTTP/1.1" 200 14 "-" "curl/7.29.0"
20.0.0.10 - - [19/Nov/2020:11:00:43 +0800] "GET / HTTP/1.1" 200 14 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"
20.0.0.10 - - [19/Nov/2020:11:01:24 +0800] "GET / HTTP/1.1" 304 - "-" "Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0"

附加：客户端网卡设为仅主机模式

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
IPADDR=192.168.100.20
NETMASK=255.255.255.0
GATEWAY=192.168.100.10
DNS=20.0.0.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=29301975-17cd-45af-93cf-e9226cfde05e
DEVICE=ens33
ONBOOT=yes
~

ACL控制

使用acl访问控制列表，禁止客户机访问web服务器
修改主配置文件

[root@squid squid-3.5.23]# vi /etc/squid.conf
acl localnet src fe80::/10      # RFC 4291 link-local (directly plugged) machines
acl host     src 192.168.100.20/32     //添加

# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny host               //添加  禁止访问，注意置顶


[root@squid squid-3.5.23]# systemctl restart squid
[root@squid squid-3.5.23]# netstat -anpt | grep squid
tcp        0      0 192.168.100.10:3128     0.0.0.0:*               LISTEN      115270/(squid-1)

测试在这里插入图片描述

Squid日志分析

安装依赖环境

[root@Squid ~]# yum -y install gd  //图像处理

编译安装日志分析软件

[root@squid ~]# mkdir /usr/local/sarg
[root@squid ~]# tar zxf sarg-2.3.7.tar.gz -C /opt
[root@squid ~]# cd /opt/sarg-2.3.7/
[root@squid sarg-2.3.7]# ./configure \
> --prefix=/usr/local/sarg \
> --sysconfdir=/etc/sarg \                 //配置文件目录，默认是/usr/local/etc
> --enable-extraprotection                 //添加额外的安全保护
[root@squid sarg-2.3.7]# make && make install

修改主配置文件

[root@squid ~]# vi /etc/sarg/sarg.conf
7/ access_log /usr/local/squid/var/logs/access.log    //指定访问日志文件
25/ title "Squid User Access Reports"                 //网页标题
120/ output_dir /var/www/html/squid-reports          //报告输出目录
178/ user_ip no                                        //使用用户名显示
184/ topuser_sort_field connect reverse             //top排序中有连接次数、访问字节、降序排列 升序是normal
190/ #  user_sort_field reverse                     //用户访问记录 连接次数、访问字节按降序排序
206/ exclude_hosts /usr/local/sarg/noreport   //不计入排序的站点列表文件
257/ overwrite_report no   //同名日志是否覆盖
289/ mail_utility mailq.postfix   //发送邮件报告命令
434/ charset UTF-8   //使用字符集
518/ weekdays 0-6   //top排行的星期周期
525/ hours 0-23   //top排行的时间周期
633/ www_document_root /var/www/html  //网页根目录

添加不计入站点文件，添加的域名将不被显示在排序中

[root@squid ~]# touch /usr/local/sarg/noreport

优化启动项并启动服务

 [root@squid sarg-2.3.7]# ln -s /usr/local/sarg/bin/sarg /usr/local/bin
 [root@squid sarg-2.3.7]# sarg
SARG: 纪录在文件: 85, reading: 100.00%
SARG: 成功的生成报告在 /var/www/html/squid-reports/2020Nov19-2020Nov19

安装启动httpd服务，并启动

 [root@squid ~]# yum -y install httpd
 [root@squid ~]# systemctl start httpd

查看报告
在这里插入图片描述
点日期，查看文件

做周期性计划任务crontab使其每天生成报告

[root@squid ~]# sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports/ -z -d $(date -d "1 day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)
SARG: TAG: access_log /usr/local/squid/var/logs/access.log
SARG: TAG: title "Squid User Access Reports"
SARG: TAG: output_dir /var/www/html/squid-reports
SARG: TAG: user_ip no
SARG: TAG: topuser_sort_field connect reverse
SARG: TAG: exclude_hosts /usr/local/sarg/noreport
SARG: TAG: overwrite_report no
SARG: TAG: mail_utility mailq.postfix
SARG: TAG: charset UTF-8
SARG: TAG: weekdays 0-6
SARG: TAG: hours 0-23
SARG: TAG: www_document_root /var/www/html
SARG: 纪录在文件: 85, reading: 100.00%
SARG: 期间被日志文件覆盖: 19/11/2020 - 19/11/2020
SARG: (info) date=19/11/2020
SARG: (info) period=2020 11月 19-2020 11月 20
SARG: (info) outdirname=/var/www/html/squid-reports//2020Nov19-2020Nov20
SARG: (info) Dansguardian report not produced because no dansguardian configuration file was provided
SARG: (info) No redirector logs provided to produce that kind of report
SARG: (info) No downloaded files to report
SARG: (info) Authentication failures report not produced because it is empty
SARG: (info) Redirector report not generated because it is empty
SARG: 成功的生成报告在 /var/www/html/squid-reports//2020Nov19-2020Nov20

添加周期性任务计划
[root@squid ~]# crontab -e
30 22 * * * sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/squid-reports/ -z -d $(date -d "1 day ago" +%d/%m/%Y)-$(date +%d/%m/%Y)

测试在浏览器输入 20.0.0.10/squid-reports/
在这里插入图片描述
查看新生成的日志文件

[root@squid ~]# cd /var/www/html/squid-reports/
[root@squid squid-reports]# lldrwxr-xr-x. 4 root root  197 11月 20 13:15 2020Nov19-2020Nov19
drwxr-xr-x. 4 root root  197 11月 19 12:03 2020Nov19-2020Nov19.1
drwxr-xr-x. 4 root root  197 11月 20 13:18 2020Nov19-2020Nov20
drwxr-xr-x. 4 root root  197 11月 20 13:09 2020Nov19-2020Nov20.1
drwxr-xr-x. 2 root root   92 11月 19 12:03 images
-rw-r--r--. 1 root root 5178 11月 20 13:18 index.html

Squid反向代理

建立在透明代理基础上做以下更改
web1配置

[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo "<h1>this is web1</h1>" > /var/www/html/index.html
[root@web1 ~]# systemctl start httpd
[root@web1 ~]# netstat -anpt | grep httpd
tcp6       0      0 :::80                   :::*                    LISTEN      50552/httpd

[root@web1 ~]# route add -net 192.168.100.0/24 gw 20.0.0.10 ###添加静态路由
[root@client ~]# curl http://localhost
<h1>this is web1</h1>

web2配置

[root@web2 ~]# yum -y install httpd
[root@web2 ~]# echo "<h1>this is web2</h1>" > /var/www/html/index.html
[root@web2 ~]# systemctl start httpd
[root@web2 ~]# netstat -anpt | grep httpd
tcp6       0      0 :::80                   :::*                    LISTEN      50552/httpd

[root@web2 ~]# route add -net 192.168.100.0/24 gw 20.0.0.10 ###添加静态路由
[root@client ~]# curl http://localhost
<h1>this is web2</h1>

Squid配置

由于httpd会占用80端口，所以必须关闭squid服务器中的httpd服务
[root@squid ~]# systemctl stop httpd
[root@squid ~]# iptables -F
[root@squid ~]# iptables -t nat -F
[root@squid ~]# iptables -I INPUT -p tcp --dport 3128 -j ACCEPT

[root@squid ~]# vi /etc/squid.conf
# Squid normally listens to port 3128
http_port 20.0.0.10:80 accel vhost vport ###squid外网口IP
cache_peer 20.0.0.20 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web1
cache_peer 20.0.0.40 parent 80 0 no-query originserver round-robin max_conn=30 weight=1 name=web2
cache_peer_domain web1 web2 www.wang.com

[root@squid ~]# systemctl restart squid

主机c盘下的hosts中添加

20.0.0.10      www.wang.com

查看是否轮询
在这里插入图片描述

附加

在Windows系统中开启浏览器
Internet选项—连接，—》局域网设置----ip: squid服务器地址端口:3128
地址栏输入web服务密地址
查着web服务器访向百怎access.log是代理服务器地址访问
在Linux系统中设置代理

vim /etc/profile
HTTP_PROXY=http://192.168.235.206:3128
HTTPS_PROXY=http:/7192.168.235.206:3128
FTP_PROXY=http://192.168.235.206:3128
No_PROxY=192.168.10.，192.168.20.
export HTTP_PROXY HTTPS_PROXY FTP_PROXY NO_PROXY
source /etc/profile