Linux运维集群篇 使用squid代理加速负载均衡集群

最新推荐文章于 2023-05-26 12:40:52 发布
最新推荐文章于 2023-05-26 12:40:52 发布
阅读量373 收藏 1
点赞数 1
分类专栏： 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49172531/article/details/116237080
版权

文章目录

前言

一、squid服务器

1 代理的机制和作用

作用
Squid 主要提供缓存加速、应用层过滤控制的功能。
机制
1、代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址。
2、将获得的网页数据（静态 Web 元素）保存到缓存中并发送给客户机，以便下次请求相同的数据时快速响应。

2 类型

传统代理：适用于Internet，需在客户机指定代理服务器的地址和端口。

透明代理：客户机不需指定代理服务器的地址和端口，而是通过默认路由、防火墙策略将Web访问重定向给代理服务器处理。

反向代理：如果 Squid 反向代理服务器中缓存了该请求的资源，则将该请求的资源直接返回给客户端；否则反向代理服务器将向后台的 WEB 服务器请求资源，然后将请求的应答返回给客户端，同时也将该应答缓存在本地，供下一个请求者使用。

二、部署squid服务

1.文件解压并编译文件

systemctl stop firwalld
systemctl disable firewalld.service
wget -P /opt http://www.squid-cache.org/Versions/v3/3.5/squid-3.5.28.tar.gz
tar zxvf squid-3.5.28.tar.gz
yum -y install gcc gcc-c++ make
cd /opt/squid-3.5.28
./configure --prefix=/usr/local/squid \
--sysconfdir=/etc \
--enable-arp-acl \
--enable-linux-netfilter \
--enable-linux-tproxy \
--enable-async-io=100 \
--enable-err-language="Simplify_Chinese" \
--enable-underscore \
--enable-poll \
--enable-gnuregex
make make install
ln -s /usr/local/squid/sbin/* /usr/local/sbin/
useradd -M -s /sbin/nologin squid
chown -R squid:squid /usr/local/squid/var/

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.修改配置文件

vim /etc/squid.conf
52
http_access allow all
http_access deny all
http_port 3128
61
cache_effective_user squid
cache_effective_group squid
68
coredump_dir /usr/local/squid/var/cache/squid

在这里插入图片描述
在这里插入图片描述

3 运行squid配置

squid -k parse
squid -z   初始化缓存目录
squid 开启服务
netstat -anpt | grep "squid"

在这里插入图片描述
在这里插入图片描述

4 创建脚本文件

vim /etc/init.d/squid
chmod +x /etc/init.d/squid
chkconfig --level 35 squid on
chkconfig --list squid

在这里插入图片描述

在这里插入图片描述

三 构建传统代理和透明代理

传统代理

vim /etc/squid.conf
cache_mem 64 MB
reply_body_max_size 10 MB
maximum_object_size 4096 KB
service squid restart
systemctl daemon-reload
netstat -natp | grep squid

在这里插入图片描述
在这里插入图片描述
配置防火墙策略

iptables -F
iptables -I INPUT -p tcp --dport 3128 -j ACCEPT
iptables -L INPUT

在这里插入图片描述
客户机检查
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
查看web页面
在这里插入图片描述

查看日志

 cd /usr/local/nginx/logs/
cat access.log

在这里插入图片描述

透明代理

web1
在这里插入图片描述
代理
在这里插入图片描述

在这里插入图片描述
开启服务
在这里插入图片描述
开启路由转发
在这里插入图片描述
配置防火墙策略
在这里插入图片描述
客户机验证
在这里插入图片描述
在这里插入图片描述
查看日志
在这里插入图片描述

四 ACL访问控制

squid的ACL 访问控制通过以下两个步骤来实现：
（1）使用 acl 配置项定义需要控制的条件；
（2）通过 http_access 配置项对已定义的列表做“允许”或“拒绝”访问的控制。

先写一个列表文件 配置不允许访问的IP 即黑名单

在这里插入图片描述
配置文件修改 使用列表文件
在这里插入图片描述
在这里插入图片描述
直接修改配置文件也可以

vim /etc/squid.conf
.......
acl localhost src 192.168.30.10/24             #源地址为192.168.184.10
acl MYLAN src 192.168.30.0/24    				#客户机网段
acl destinationhost dst 192.168.30.22/24      #目标地址为192.168.184.20 
acl MC20 maxconn 20                             #最大并发连接20
acl PORT port 21                                #目标端口21
acl DMBLOCK dstdomain .qq.com                   #目标域，匹配域内所有站点
acl BURL url_regex -i ^rtsp:// ^emule://       	#以rtsp://. emule://开头的URL，-i表示忽略大小写
acl PURL urlpath_regex -i \.mp3$ \.mp4$ \.rmvb$   #以 .mp3、.mp4、.rmvb结尾的URL路径
acl WORKTIME time MTWHF 08:30-17:30             #时间为周一-至周五8:30~17:30， "MTWHF"为每个星期的英文首字母

五 ACL日志

采用sarg来管理日志 是一款squid日志分析工具，采用HTML格式，详细列出每一位用户访问Internet的站点信息、时间占用信息、排名、连接次数、访问量等

#安装图像处理软件包
yum install -y gd gd-devel pcre-devel 

mkdir /usr/local/sarg

#将zxvf sarg-2.3.7.tar.gz压缩包上传到/opt目录下
tar zxvf sarg-2.3.7.tar.gz -C /opt/

cd /opt/sarg-2.3.7
./configure --prefix=/usr/local/sarg \
--sysconfdir=/etc/sarg \     #配置文件目录，默认是/usr/loca/etc
--enable-extraprotection       #额外安全防护

./configure --prefix=/usr/local/sarg --sysconfdir=/etc/sarg --enable-extraprotection

make && make install

vim /etc/sarg/sarg.conf
--7行--取消注释
access_log /usr/local/squid/var/logs/access.log  #指定访问日志文件
--25行--取消注释
title "Squid User Access Reports"     #网页标题
--120行--取消注释，修改
output_dir /var/www/html/sarg      #报告输出目录
--178行--取消注释
user_ip no           #使用用户名显示
--184行--取消注释，修改
topuser_sort_field connect reverse     #top排序中，指定连接次数采用降序排列，升序是normal
--190行--取消注释，修改
user_sort_field connect reverse      #对于用户访问记录，连接次数按降序排序
--206行--取消注释，修改
exclude_hosts /usr/local/sarg/noreport    #指定不计入排序的站点列表的文件
--257行--取消注释
overwrite_report no         #同名同日期的日志是否覆盖
--289行--取消注释，修改
mail_utility mailq.postfix       #发送邮件报告命令
--434行--取消注释，修改
charset UTF-8          #指定字符集UTF-8
--518行--取消注释
weekdays 0-6          #top排行的星期周期
--525行--取消注释
hours 0-23           #top排行的时间周期
--633行--取消注释
www_document_root /var/www/html      #指定网页根目录

#添加不计入站点文件，添加的域名将不被显示在排序中
touch /usr/local/sarg/noreport

ln -s /usr/local/sarg/bin/sarg /usr/local/bin/

sarg --help   #获取帮助 

#运行
sarg     #启动一次记录

#验证
yum install httpd -y
systemctl start httpd

在squid服务器上使用浏览器访问 http://192.168.184.70/sarg，查看sarg报告网页。

#添加计划任务，执行每天生成报告
vim /usr/local/sarg/report.sh
#/bin/bash
#Get current date
TODAY=$(date +%d/%m/%Y)
#Get one week ago today
YESTERDAY=$(date -d "1 day ago" +%d/%m/%Y)
/usr/local/sarg/bin/sarg -l /usr/local/squid/var/logs/access.log -o /var/www/html/sarg -z -d $YESTERDAY-$TODAY &> /dev/null
exit 0

chmod +x /usr/local/sarg/report.sh 

crontab -e
0 0 * * * /usr/local/sarg/report.sh

在这里插入图片描述

在这里插入图片描述

鹧鸪鹄
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Linux运维-6.集群-集群视频-5、Squid缓存、代理服务-18、Squid简介.mp4
06-05
Linux运维-6.集群-集群视频-5、Squid缓存、代理服务-18、Squid简介.mp4
Squid反向代理加速缓存+负载均衡实验架构
weixin_33754913的博客
02-12 232
实验环境： 公司有两台web服务器，运行同一套网站，读取同一台mysql数据库。 两台web服务器的主机名如下： test1.com 192.168.1.119 test2.com 192.168.1.120 squid服务器ip：192.168.1.123 DNS: 192.168.9.254 实验思路：DNS将www.fb.com解析给sq...
Linux运维-6.集群-集群视频-5、Squid缓存、代理服务-20、Squid 反向代理、ACL访问控制.mp4
06-05
Linux运维-6.集群-集群视频-5、Squid缓存、代理服务-20、Squid 反向代理、ACL访问控
Linux运维-6.集群-集群视频-5、Squid缓存、代理服务-19、Squid传统模式、透明模式.mp4
06-05
Linux运维-6.集群-集群视频-5、Squid缓存、代理服务-19、Squid传统模式、透明模
Squid集群做CDN全网加速配置分享
01-10
主服务器群,然后在利用Squid逆向缓存web80端口来加速自己的网站.各大门户网站象163,sina,chinaitlab之类基本都是使用的这种技术,好处是大大的有.比如加速了网络和可以防黑客（因为他们见到的都是CDN的主机）这是利用Squid逆向集群模式做的一种应用 网络环境： 主服务器群：源Web服务器群 位于公网ip:220.XXX.XXX.X port:80(后台才是WEB的服务器) 注: 要保证TCP80,UDP3130在防火墙上是开的(供icp_port通讯使用,多台Squid集群才会用到) 全国各地分服务器：A服务器公网IP111.xxx.xxx.x B服务器公网ip112.x
Squid 代理服务器 - 实现Web加速缓存及负载均衡
serendipity_cat的博客
04-29 548
Squid缓存加速代理一、Web代理的工作机制二、代理方式1. 传统代理2. 透明代理3. 反向代理三、部署传统代理1. 拓扑图2. 编译安装3. 修改配置文件4. 服务控制5. 部署Apache服务器6. 客户机测试四、部署透明代理1. 拓扑图2. 配置Squid3. 客户机测试五、ACL 访问控制1.概述2. 拓扑图3. 配置Squid4. 配置两个Web5. 客户机测试六、部署 Squid 日志分析 一、Web代理的工作机制 为C/S双方都提供了便利，将服务器数据缓存给客户机，这样客户机访问服务器更快
Linux下的web调度器——squid实现（负载均衡）
weixin_42566251的博客
05-31 570
一、squid调度器的实验 实验的模拟： 当多个客户访问一台服务器的时候，服务器的压力会很大，很可能导致服务器崩了，所以需要有另外一台服务器来帮助它实现均衡，也就是所谓的负载均衡。可是客户端不可能访问多个ip，它只会访问一个ip，那么两个服务端的ip又不一样，怎样让客户端毫无察觉的去同一资源，此时就需要一个squid调度器，当第一个用户访问时去找第一个服务器，当第二个客户访问时去找第二个服务器。 ...
linux学习之squid代理负载均衡
chuangchankan5958的博客
09-15 155
包含内容：代理访问、反向代理、CDN加速、负载均衡 没有图形使用yum install w3m-0.5.2-16.el6.x86_64，w3m访问http 1、实验环境 虚拟机IP 192.168.0.203和10.0.0.203双网卡，用来做squid代理 真机IP 192.168.0....
【实战】k8s集群中通过docker容器部署Squid正向代理
lc2288的博客
12-25 3589
1. Squid简介2. 问题描述3. k8s集群中容器化部署Squid3.1 环境说明3.2 在公网节点[使用docker安装squid](https://github.com/sameersbn/docker-squid)3.3 配置受信3.4 [修改Squid配置文件](https://blog.csdn.net/weixin_34075551/article/details/88837934)3.5 [在其它节点上配置docker代理](https://www.cnblogs.com/ssgeek.
集群代理-Squid
oschina_41926682的博客
08-28 291
概念：
linux下安装Squid代理的详细配置教程
01-10
1.如果系统中还没有装squid，按以下顺序输入命令后即可完成安装 # wget http://www.squid-cache.org/Versions/v3/3.0/squid-3.0.STABLE18.tar.gz //下载Squid代理安装包 # tar -zxvf squid-3.0.STABLE18.tar.gz //解压Squid安装包 # cd squid-3.0.STABLE18 # ./configure –prefix=/usr/local/squid –sysconfdir=/usr/local/squid/etc –bindir=/usr/local/squid/bin
squid反向代理与负载均衡
weixin_34293059的博客
08-22 117
为什么80%的码农都做不了架构师？>>> ...
【Linux集群教程】03 多级负载均衡 & Squid
Dragon的博客
09-13 1167
Squid 是一种用来缓存 Internet 数据的软件。接受来自人们需要下载的目标（object）的请求并适当的处理这些请求。也就是说，如果一个人想下载一web界面，他请求squid为他取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后，squid 显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时， squid可以简单的从磁盘中读到它，那样数据会立即传输到客户机上。Squid 是一个缓存服务器的守护进程。（二八原则：80%的访问量是由 20%的数据完成的。
linux11——nginx, tomcat和squid
m0_51553670的博客
05-26 525
因为是代理服务，所以是中转机才安装下载安装编译环境下载安装需要配件下载安装squid。
集群--squid代理服务器..
Suweika的博客
08-24 332
web服务器的优化： 工作原理：客户访问动态资源，nginx代理到apache（nginx只有静态资源）。客户访问静态资源，nginx从disk获取被压缩了的静态资源（提高并发），因为图片和视频不能压缩，所以把视频和图片放到squid缓存服务器里，squid的源站是nginx，客户访问图片和视频，找squid服务器，squid向nginx要，下次客户访问同样的图片和视频就直接从squid缓存服务器里拿，不用再向nginx要。 SQUID工作原理： SQUID会把缓存的数据放入磁盘中，在磁盘中建立二级.
squid负载均衡集群
weixin_33724046的博客
06-26 264
本文只是为了详细了解squid的集群负载均衡的配置而模拟出来的一个实验环境。目的是想深入了解squid反向代理以及squid集群负载均衡的配置。也是对近期squid学习成果的检验，准备的环境比较简单，可能没有实用价值，只是了解其配置思路。 背景描述： 一家公司要提供互联网服务，为了保证访问性能，采用squid反向代理来实现，来提高性能。想像架构图如下： (1)...
LVS+Keepalived+Squid+Nginx高可用负载均衡缓存配置
isaiah的专栏
05-11 1284
随着互联网IT行业的发展，越来越多的企业开始使用开源软件搭建自己的web架构，主流的LVS也得到了广泛的应用，在保证高可用的同时，用户对网站的体验速度也有了很高的要求，这时候需要我们在我们的架构既要满足高并发同时还要求高速度。 今天我们来搭建主流架构Lvs+Keepalived+Squid+Nginx  相关软件包： 系统：CentOS6.0 x64       Ipvsadm
squid负载
a13568hki的博客
01-15 253
squid 10.0.0.41 web1 10.0.0.42 web2 10.0.0.43 1、安装squid yum -y install squid 2、修改squid配置，配置轮询负载 vim /etc/squid/squid.conf cache_peer 10.0.0.42 parent 80 0 no-query ##cache_peer：缓存策略；1...
centos7 linux squid代理服务器
最新发布
08-23
CentOS 7 Linux中的Squid代理服务器是一个流行的开源代理服务器软件，可用于缓存和控制访问Internet的客户端请求。您可以按照以下步骤在CentOS 7上安装和配置Squid代理服务器： 1. 安装Squid软件包：在终端中执行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值