3.企业运维-----CDN内容分发网络（varnish配置）

最新推荐文章于 2024-04-27 01:00:00 发布
最新推荐文章于 2024-04-27 01:00:00 发布
阅读量557 收藏 3
点赞数
分类专栏： 企业运维 文章标签： linux 运维 nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44060147/article/details/118693034
版权

varnish配置

关闭上次实验集群

[root@server1 ~]# pcs cluster stop --all
server1: Stopping Cluster (pacemaker)...
server4: Stopping Cluster (pacemaker)...
server4: Stopping Cluster (corosync)...
server1: Stopping Cluster (corosync)...
[root@server1 ~]# pcs cluster disable --all
server1: Cluster Disabled
server4: Cluster Disabled
[root@server1 ~]# pcs status
Error: cluster is not currently running on this node
[root@server1 ~]# systemctl disable --now pcsd
Removed symlink /etc/systemd/system/multi-user.target.wants/pcsd.service.
[root@server1 ~]# ssh server4 systemctl disable --now pcsd
Removed symlink /etc/systemd/system/multi-user.target.wants/pcsd.service.
[root@server1 ~]# 
[root@server1 ~]# netstat -antlp	#查看端口进程是否结束

在这里插入图片描述

一、varnish初步安装配置

1.安装并配置varnish

[root@server1 ~]# ls
jemalloc-3.6.0-1.el7.x86_64.rpm        varnish-4.0.5-1.el7.x86_64.rpm
jemalloc-devel-3.6.0-1.el7.x86_64.rpm  varnish-libs-4.0.5-1.el7.x86_64.rpm
[root@server1 ~]# yum install -y *

[root@server1 ~]# cd /etc/varnish/
[root@server1 varnish]# ls
default.vcl  secret  varnish.params
[root@server1 varnish]# vim default.vcl 

[root@server1 varnish]# vim varnish.params 
VARNISH_LISTEN_PORT=80
[root@server1 varnish]# vim /usr/lib/systemd/system/varnish.service 
[root@server1 varnish]# vim /etc/security/limits.conf 
[root@server1 varnish]# tail -n3 /etc/security/limits.conf
varnish		-	nofile		140000
varnish		-	memlock		100000
[root@server1 varnish]# systemctl start varnish	#启动服务
[root@server1 varnish]# systemctl status varnish
[root@server1 varnish]# netstat -antlp |grep :80	#查看端口，保证服务启动
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      4404/varnishd       
tcp6       0      0 :::80                   :::*                    LISTEN      4404/varnishd

在这里插入图片描述
在这里插入图片描述
配置文件 default.vcl
在这里插入图片描述

（1）根据不同的域名，分发到不同的后端主机：

在这里插入图片描述
在这里插入图片描述

（2）配置文件varnish.params

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（3）Server3和Serve2,启动http服务，修改默认页面

[root@server2 ~]# echo 'www.westos.org'  > /var/www/html/index.html 
[root@server2 ~]# systemctl start httpd

[root@server3 ~]# echo 'bbs.westos.org' > /var/www/html/index.html 
[root@server3 ~]# systemctl start httpd

在这里插入图片描述
在这里插入图片描述

2.真机访问

cdn缓存存放时间是120秒，每120秒重新获取
在这里插入图片描述

二、设置负载均衡及健康检测

1.负载均衡

[root@server1 varnish]# vim default.vcl 

backend web3 {
    .host = "172.25.15.4";
    .port = "80";
}

import directors;
sub vcl_init {
        new web_cluster = directors.round_robin();
        web_cluster.add_backend(web1);
        web_cluster.add_backend(web3);
}

[root@server1 varnish]# systemctl reload varnish.service

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
修改server2和server3的http默认发布文件
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.健康监测

probe backend_healthcheck {
    .url = "/index.html";
    .window = 3;
    .threshold = 2;
    .interval = 3s;
}

backend web1 {
    .host = "172.25.15.2";
    .port = "80";
    .probe = backend_healthcheck;

}
backend web2 {
    .host = "172.25.15.3";
    .port = "80";
    .probe = backend_healthcheck;
}
backend web3 {
    .host = "172.25.15.4";
    .port = "80";
    .probe = backend_healthcheck;
}

在这里插入图片描述

关闭server3的http服务
真机测试
只访问server2
在这里插入图片描述
在这里插入图片描述

三、nginx代理

1.安装nginx

[root@server4 ~]# ls
nginx-1.20.1.tar.gz
[root@server4 ~]# tar -zxf nginx-1.20.1.tar.gz 
[root@server4 ~]# cd nginx-1.20.1/
[root@server4 nginx-1.20.1]# ls
auto     CHANGES.ru  configure  html     man     src
CHANGES  conf        contrib    LICENSE  README
[root@server4 nginx-1.20.1]# yum install -y gcc 
[root@server4 nginx-1.20.1]# ls
auto     CHANGES.ru  configure  html     man     src
CHANGES  conf        contrib    LICENSE  README
[root@server4 nginx-1.20.1]# ./configure --with-http_ssl_module
[root@server4 nginx-1.20.1]# make
[root@server4 nginx-1.20.1]# make install

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.配置nginx

[root@server4 nginx-1.20.1]# cd /usr/local/nginx/
[root@server4 nginx]# ls
conf  html  logs  sbin
[root@server4 nginx]# cd sbin/
[root@server4 sbin]# pwd
/usr/local/nginx/sbin
[root@server4 sbin]# ls
nginx
[root@server4 sbin]# ln -s /usr/local/nginx/sbin/nginx /usr/local/bin/
[root@server4 sbin]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@server4 sbin]# 
[root@server4 sbin]# cd /usr/local/nginx/conf/
[root@server4 conf]# ls
fastcgi.conf            koi-win             scgi_params
fastcgi.conf.default    mime.types          scgi_params.default
fastcgi_params          mime.types.default  uwsgi_params
fastcgi_params.default  nginx.conf          uwsgi_params.default
koi-utf                 nginx.conf.default  win-utf

[root@server4 conf]# vim nginx.conf
[root@server4 conf]# nginx -t
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@server4 conf]# nginx
[root@server4 conf]#

在这里插入图片描述

配置vim /usr/local/nginx/conf/nginx.conf

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

[root@server1 varnish]# vim default.vcl 

[root@server1 varnish]# systemctl reload varnish.service 	#重启服务

在这里插入图片描述
在这里插入图片描述

3.启动并测试

真机172.25.254.15

www.westos.org -server2
[root@foundation15 ~]# curl www.westos.org 
www.westos.org -server3
[root@foundation15 ~]# curl www.westos.org 
www.westos.org -server2
[root@foundation15 ~]# curl www.westos.org 
www.westos.org -server3
[root@foundation15 ~]# curl www.westos.org 
www.westos.org -server2

(1)负载均衡

在这里插入图片描述

(2)产看日志，访问来源

[root@server2 ~]# tail /var/log/httpd/access_log -f

从172.25.15.4上调取
在这里插入图片描述

4.获取来源改为真机ip172.25.15.250

（1）server3安装nginx并配置

[root@server3 ~]# systemctl stop httpd.service 	#关闭http服务
[root@server3 ~]# ls
nginx-1.20.1.tar.gz
[root@server3 ~]# tar -zxf nginx-1.20.1.tar.gz 
[root@server3 ~]# ls
nginx-1.20.1  nginx-1.20.1.tar.gz
[root@server3 ~]# cd nginx-1.20.1/
[root@server3 nginx-1.20.1]# l
s-bash: l: command not found
[root@server3 nginx-1.20.1]# ls
auto  CHANGES  CHANGES.ru  conf  configure  contrib  html  LICENSE  man  README  src
[root@server3 nginx-1.20.1]# yum install -y gcc pcre-devel openssl-devel
[root@server3 nginx-1.20.1]# ./configure --with-http_realip_module --with-http_ssl_module
[root@server3 nginx-1.20.1]# make
[root@server3 nginx-1.20.1]# make install
[root@server3 nginx-1.20.1]# ln /usr/local/nginx/sbin/nginx /usr/local/bin
[root@server3 nginx-1.20.1]# cd /usr/local/nginx/conf/
[root@server3 conf]# ls
fastcgi.conf            koi-win             scgi_params
fastcgi.conf.default    mime.types          scgi_params.default
fastcgi_params          mime.types.default  uwsgi_params
fastcgi_params.default  nginx.conf          uwsgi_params.default
koi-utf                 nginx.conf.default  win-utf
[root@server3 conf]# vim nginx.conf
        location / {
            root   html;
            index  index.html index.htm;
            real_ip_header    X-Forwarded-For;	#添加
            real_ip_recursive on;	#添加
            set_real_ip_from 172.25.15.0/24;		#添加
        }

[root@server3 conf]# nginx -t
[root@server3 ~]# nginx

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（2）server4配置

[root@server4 conf]# vim nginx.conf
http {
        upstream westos {
        server 172.25.15.3:80;
        #server 172.25.15.2:80;		#注释
        }
[root@server4 conf]# nginx -s reload	#刷新nginx服务

在这里插入图片描述
在这里插入图片描述

（3）真机访问，server3查看nginx访问日志

[root@foundation15 ~]# curl www.westos.org 

[root@server3 ~]# tail -n3 /usr/local/nginx/logs/access.log 
172.25.15.1 - - [13/Jul/2021:02:24:19 -0400] "GET /index.html HTTP/1.1" 200 612 "-" "-"
172.25.15.250 - - [13/Jul/2021:02:24:26 -0400] "GET / HTTP/1.0" 200 612 "-" "curl/7.61.1"
172.25.15.250 - - [13/Jul/2021:02:24:27 -0400] "GET / HTTP/1.0" 200 612 "-" "curl/7.61.1"
[root@server3 ~]#

在这里插入图片描述
日志可以看到客户端的真实ip：172.25.15.250
在这里插入图片描述

♚北秋
关注
专栏目录
企业运维实战--CDN内容分发网络+nginx
Rabbit_hyl的博客
07-13 931
企业运维实战--CDN内容分发网络+nginx前言一、CDN安装以及负载均衡二、CDN + Nginx负载均衡CDN对后端进行健康检查访问nginx显示实际访问ip 前言 CDN（Content Delivery Network），即内容分发网络。通过中心平台的负载均衡、内容分发、调度等功能模块，使用户快速就近获取所需内容，提高访问命中率。 CDN关键技术： 1.缓存 2.分发能力 3.负载均衡 一、CDN安装以及负载均衡 准备： 三台虚拟机一台server1作为CDN服务的主机，其余两台server2
运维实战 CDN内容分发网络
黑羽冰音的博客
05-05 284
CDN内容分发网络软件Varnish的安装与配置优化.
varnish的基本配置
houxr的专栏
07-20 391
#######varnish######### 1.安装 varnish-libs-3.0.5-1.el6.x86_64.rpm       varnish-3.0.5-1.el6.x86_64.rpm yum install * -y 2.配置varnish vim /etc/sysconfig/varnish  66 VARNISH_LISTEN_PORT=80  ##改监听端口
varnish的服务配置（实验说明）
20butterfly的博客世界
07-31 598
dvdv
moosefs分布式文件系统 高可用
passnetY的博客
03-26 465
主要安装pacemaker和corosync，pacemaker是集群的管理软件，corosync是心跳套件。 给server1和server5上安装 [root@server5 mfs]# yum install pacemaker pcs psmisc policycoreutils-python -y [root@server1 mfs]# yum install pacemaker p...
运维实战 负载均衡Haproxy
黑羽冰音的博客
04-06 376
通过HAProxy实现负载均衡,并在此基础上借由corosync和pacemaker实现高可用,通过Fence做集群硬件突发情况处置.
centos7下安装varnish并配置ssl
08-30 915
需求：magento2下配置varnish缓存。
varnish-6.2.0.tgz
07-19
在实际部署中，Varnish 6.2.0通常被用作CDN（内容分发网络）的一部分，或者直接在数据中心作为前端缓存层，为动态内容提供加速。例如，挪威最大的在线报纸 Verdens Gang 就通过使用Varnish减少了服务器数量，但提升...
天涯运维的那些事-open.pdf
11-21
- 性能优化：服务器虚拟化、页面压缩和内容分发技术，提高资源利用率和用户体验。 【未来愿景】 随着天涯运维技术的不断发展和完善，其未来愿景可能包括： 1. 继续优化运维自动化，减少人工干预，提升运维效率。 2....
CDN加速的实现（一）varnish--部署单个后端服务器，查看缓存命中情况，清除缓存
qq_39376481的博客
04-15 503
1.概念讲解 （一）CDN相关介绍 1.CDN：CDN的全称是（Content Delivery Network），即内容分发网络。基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时的根据网络流量和各节点的连接，负载状况以及到用户的举例和响应时间等综合信息...
pcs cluster auth命令 Error: Unable to synchronize and save tokens on nodes: xxxx. Are they authorized?
yangkei
10-23 2375
Background：在服务上我之前安装过corosync，也跑过pcs cluster auth，后来重新搭ha的时候就遇到报错了。 Error: [root@node1 ~]# pcs cluster auth node1 node2 node3 --debug(这里加上debug可以查看具体的信息，我也是通过debug信息想到的解决办法) Running: /usr/bin/ruby -I/usr/lib/pcsd/ /usr/lib/pcsd/pcsd-cli.rb read_tokens
[App] rhel7 配置 RHCS
唐僧没有肉的博客
10-31 7160
pcs+pacemaker+corosync 配置http主从高可用   mysql-01 192.168.1.153 mysql-02 192.168.1.154 vip 192.168.1.160 os rhel 7.2   参考 http://ww
Pacemaker+Corosync+PostgreSQL集群故障测试和解决方案
weixin_34026276的博客
10-20 1462
为什么80%的码农都做不了架构师？>>> ...
corosync+pacemaker高可用
yanggd1987的专栏
02-16 5316
简介  说到高可用，我们可能会用heartbeat和keepalived，也可能会用corosync+pacemaker，但他们之间有什么区别呢？我们在此主要谈下heartbeat和corosync+pacemaker之间的渊源。   Heartbeat到了v3版本后，拆分为多个子项目，其中pacemaker就是拆分出来的资源管理器。Heartbeat 3.0拆分之后的组成部分：为： 1.Hea
LINUX集群学习二——pacemaker+corosync+pcs实验
weixin_34268579的博客
05-01 1144
实验目的：使用corosync作为集群消息事务层（Massage Layer），pacemaker作为集群资源管理器（Cluster Resource Management），pcs作为CRM的管理接口工具。要求实现httpd的高可用功能。环境：centos 6.9Pacemaker: 1.1.15Corosync:1.47Pcs: 0.9.155准备工作： 配置SSH双机互信; 配置主机名解析...
如何在 Ubuntu 14.04 上配置 Varnish Cache 4.0 实现 SSL 终止
最新发布
rubys007的博客
04-27 1025
在本教程中，我们将介绍如何使用 Varnish Cache 4.0 来提高现有 Web 服务器的性能。我们还将向您展示如何通过使用 Nginx 执行 SSL 终止来为 Varnish 添加 HTTPS 支持。我们假设您已经设置了一个 Web 应用服务器，并且我们将使用一个通用的 LAMP（Linux、Apache、MySQL、PHP）服务器作为起点。Varnish Cache 是一个缓存 HTTP 反向代理，或者说是 HTTP 加速器，它可以减少向用户提供内容所需的时间。
二：5.配置Varnish支持多个后端域名
Terry - 专注外贸B2C
07-14 2098
配置Varnish支持多个后端域名 2011-07-12 －Web开发 标签: 缓存 varnish 在varnish使用中会涉及代理多个后端域名（或网站）的情况，可通过判断请求的URL来设置对应backend即可解决问题。 以varnish官方文档中例子说明（https://www.varnish-cache.org/docs/trunk/reference/vcl.html#
SSL and Varnish
huangxx
08-09 246
We setup all varnish boxes where we need SSL with nginx on :443 and varnishd on :80. The local nginx server proxy-passes everything to localhost:80, with the following config bit: server { ssl on; ssl...
企业运维之 CDN 内容分发网络
weixin_54720351的博客
07-04 954
企业运维之 CDN 内容分发网络 1. CDN 是什么?2. CDN 的工作原理3. CDN 的组成4. 部署5. 负载均衡及健康检查 1. CDN 是什么? CDN 是 Content Delivery Network 的简称，即 "内容分发网络” 的意思。一般我们所说的 CDN 加速，一般是指网站加速或者用户下载资源加速。 CDN 基本思路就是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网
CDN-P2P系统的内容预存策略：结合节点需求预测
在CDN-P2P网络中，内容分发网络（CDN）和对等网络（P2P）的结合旨在充分利用两者的优点，提供高效且可扩展的内容分发服务。CDN通过缓存热门内容在边缘服务器上，减少了中心服务器的压力，而P2P网络则利用用户之间的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值