基于linux下cdn的搭建（varnish）

最新推荐文章于 2023-11-23 08:51:32 发布
最新推荐文章于 2023-11-23 08:51:32 发布
阅读量4k 收藏 12
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xdmaidou/article/details/81264737
版权

varnish

Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好。

Varnish与一般服务器软件类似，分为master（management）进程和child（worker，主要做cache的工作）进程。master进程读入命令，进行一些初始化，然后fork并监控child进程。child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。

针对文件缓存部分，master读入存储配置（-s file[,path[,size[,granularity]]] ），调用合适的存储类型，然后创建/读入相应大小的缓存大文件。接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。

在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中（如果超出系统的虚拟内存，mmap失败，进程会减少原来的配置mmap大小，然后继续mmap），此时创建并初始化空闲存储结构体，挂到存储管理结构体，以待分配。

接着，真正的工作开始，Varnish的某个负责接受新HTTP连接的线 程开始等待用户，如果有新的HTTP连接过来，它总负责接收，然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的 URI，查找已有的object，如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。

分配缓存的过程是这样的：它根据所读到object的大小，创建相应大小的缓存文件。为了读写方便，程序会把每个object的大小变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。如果缓存已满，就根据LRU机制，把最旧的object释放掉。

释放缓存的过程是这样的：有一个超时线程，检测缓存中所有object的生存期，如果超初设定的TTL（Time To Live）没有被访问，就删除之，并且释放相应的结构体及存储内存。注意释放时会检查该存储内存块前面或后面的空闲内存块，如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。

整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的object都考虑是在内存中，如果系统内存不足，系统会自动将其换到swap空间，而不需要varnish程序去控制。

物理主机：  172.25.26.254
实验主机:
varnish    172.25.26.1
apache     172.25.26.2
apache     172.25.26.3


配置varnish主机：172.25.26.1
创建：
cd /var/lib/libvirt/images/
ls
qemu-img create -f qcow2 -b dd.qcow2  dd1

配置：
hostname server1
vim /etc/sysconfig/network
   NETWORKING=yes
   HOSTNAME=server1


vim /etc/sysconfig/network-scripts/ifcfg-eth0
   DEVICE=eth0
   ONBOOT=yes
   BOOTPROTO=no
   IPADDR=172.25.26.1
   PREFIX=24


/etc/init.d/network  restart
ip addr
[root@server1 varnish]# cd /root
[root@server1 ~]# ls
varnish-3.0.5-1.el6.x86_64.rpm  varnish-libs-3.0.5-1.el6.x86_64.rpm
[root@server1 ~]yum install * -y


cd /etc/varnish
ls
[root@server1 ~]# sysctl -a | grep file
fs.file-nr = 480    0    98861
fs.file-max = 98861

[root@server1 ~]# vim /etc/sysconfig/varnish
    
  7 # Maximum number of open files (for ulimit -n)
  8 NFILES=98000
  9
 10 # Locked shared memory (for ulimit -l)
 11 # Default log size is 82MB + header
 12 MEMLOCK=82000
 13
 14 # Maximum number of threads (for ulimit -u)
 15 NPROCS="unlimited"

 65 # VARNISH_LISTEN_ADDRESS=
 66 VARNISH_LISTEN_PORT=80

[root@server1 ~]# vim /etc/security/limits.conf
# End of file
varnish            -       nofile         98001
varnish            -      memlock         82000
varnish            -      nproc           unlimited


/etc/init.d/varnish  start
netstat -antlp

一、
配置apache     172.25.26.2
创建：
cd /var/lib/libvirt/images/
ls
qemu-img create -f qcow2 -b dd.qcow2  dd2
配置：
hostname server2
vim /etc/sysconfig/network
   NETWORKING=yes
   HOSTNAME=server2
vim /etc/sysconfig/network-scripts/ifcfg-eth0
   DEVICE=eth0
   ONBOOT=yes
   BOOTPROTO=no
   IPADDR=172.25.26.2
   PREFIX=24
/etc/init.d/network  restart
ip addr
yum install -y httpd
/etc/init.d/httpd  start
cd /var/www/html
ls
vim index.html
www.westos.org---server2
（1）配置varnish
配置varnish主机：172.25.26.1
[root@server1 ~]# cd /etc/varnish/
[root@server1 varnish]# ls
default.vcl  secret


[root@server1 varnish]# vim default.vcl
backend web1 {
  .host = "172.25.26.2";
  .port = "80";
}
/etc/init.d/varnish    reload


物理主机的测试    172.25.26.250
vim /etc/hosts
172.25.26.1  www.westos.org   

浏览器：172.25.26.1
curl  www.westos.org  
curl  www.westos.org -I

 

（2）、查看缓存命中情况

配置varnish主机：172.25.26.1
[root@server1 ~]# cd /etc/varnish/
[root@server1 varnish]# ls
default.vcl  secret
[root@server1 varnish]# vim default.vcl
backend web1 {
  .host = "172.25.26.2";
  .port = "80";
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http.X-Cache = "MISS from westos cache";
}
return (deliver);
}


/etc/init.d/varnish    reload


物理主机的测试    172.25.26.250
curl  www.westos.org  
curl  www.westos.org -I


二、

配置apache     172.25.26.3
创建：
cd /var/lib/libvirt/images/
ls
qemu-img create -f qcow2 -b dd.qcow2  dd2


配置：
hostname server3
vim /etc/sysconfig/network
   NETWORKING=yes
   HOSTNAME=server2
vim /etc/sysconfig/network-scripts/ifcfg-eth0
   DEVICE=eth0
   ONBOOT=yes
   BOOTPROTO=no
   IPADDR=172.25.26.3
   PREFIX=24
/etc/init.d/network  restart
ip addr
yum install -y httpd
/etc/init.d/httpd  start


cd /var/www/html
ls
vim index.html
bbs.westos.org

（1）不同多个域名站点的后端服务器存在，此时varnish服务设置
配置varnish主机：172.25.26.1
[root@server1 ~]# cd /etc/varnish/
[root@server1 varnish]# ls
default.vcl  secret
[root@server1 varnish]# vim default.vcl
###定义多个不同域名站点的后端服务器
backend web1 {
  .host = "172.25.26.2";
  .port = "80";
}
backend web2 {
  .host = "172.25.26.3";
  .port = "80";
}

sub vcl_recv {
if (req.http.host ~ "^(www.)?westos.org") {
set req.http.host = "www.westos.org";
set req.backend = web1;
#return (pass);
} elsif (req.http.host ~ "^bbs.westos.org") {
set req.backend = web2;
} else {error 404 "westos cache";
}
}

sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http.X-Cache = "MISS from westos cache";
}

/etc/init.d/varnish    reload


物理主机的测试    172.25.26.250
vim /etc/hosts
172.25.26.1  www.westos.org   bbs.westos.org


浏览器：172.25.26.1
curl  www.westos.org  
curl  www.westos.org -I
curl  bbs.westos.org  
curl  bbs.westos.org -I

（2）当访问www.westos.org时有可能后台服务器忽然坏掉，此时我们需要设置当其中一个有问题时，可以从其他的获取

配置apache     172.25.26.3
vim /etc/httpd/conf/httpd.conf
 990 NameVirtualHost *:80
 991 #
 992 # NOTE: NameVirtualHost cannot be used without a port specifier
 993 # (e.g. :80) if mod_ssl is b

 1009 #</VirtualHost>
 1010 <VirtualHost *:80>
 1011     DocumentRoot /var/www/html
 1012     ServerName bbs.westos.org
 1013 </VirtualHost>
 1014
 1015 <VirtualHost *:80>
 1016     DocumentRoot /www1
 1017     ServerName www.westos.org
 1018 </VirtualHost>

[root@server3 html]# vim /etc/httpd/conf/httpd.conf
 
[root@server3 html]# mkdir /www1
[root@server3 html]# cd /www1
[root@server3 www1]# ls
[root@server3 www1]# vim index.html
www.westos.org---server3


[root@server3 www1]# /etc/init.d/httpd   restart

配置varnish主机：172.25.26.1
[root@server1 ~]# cd /etc/varnish/
[root@server1 varnish]# ls
default.vcl  secret
[root@server1 varnish]# vim default.vcl
backend web1 {
  .host = "172.25.26.2";
  .port = "80";
}
backend web2 {
  .host = "172.25.26.3";
  .port = "80";
}

director westos round-robin {
{.backend = web1;}
{.backend = web2;}
}

sub vcl_recv {
if (req.http.host ~ "^(www.)?westos.org") {
set req.http.host = "www.westos.org";
set req.backend = westos;
#return (pass);
} elsif (req.http.host ~ "^bbs.westos.org") {
set req.backend = web2;
} else {error 404 "westos cache";
}
}


sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http.X-Cache = "MISS from westos cache";
}
return (deliver);
}


/etc/init.d/varnish    reload

物理主机的测试    172.25.26.250
 
配置varnish主机：172.25.26.1
[root@server1 ~]# cd /etc/varnish/
[root@server1 varnish]# ls
default.vcl  secret
[root@server1 varnish]# vim default.vcl
               return (pass);


/etc/init.d/varnish    reload


物理主机的测试    172.25.26.250
  curl  www.westos.org  
  curl  www.westos.org -I
  curl  www.westos.org
  curl  www.westos.org   -I
  curl  www.westos.org


配置varnish主机：172.25.26.1
[root@server1 ~]# cd /etc/varnish/
[root@server1 varnish]# ls
default.vcl  secret
[root@server1 varnish]# vim default.vcl
     #return (pass);
/etc/init.d/varnish    reload


[root@server1 varnish]#varnishadm ban.url  /index.html


物理主机的测试    172.25.26.250
www.westos.org/index.html
www.westos.org/index.html
www.westos.org/index.html

 

xdmaidou
关注
CDN简介及linux环境下搭建
lysinely的博客
01-08 8653
CDN CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点
企业常用cdn搭建varnish服务器
oikinkl的博客
09-14 355
1.环境： 实验主机：server1 172.25.35.1 varnish server2 172.25.35.2 apache server3 172.25.35.3 apache 2.varnish部署 1.下载安装varnish软件包（server1） 2./etc/sysconfig/varnish...
linux运维-cdn部署
weixin_33696822的博客
04-25 492
CDN简介CDN （ Content Delivery Network）内容分发网络 ： 所有客户端可以获得距离自己最近的资源dns分离解析 功能根据客户端来源地址的不同，把相同的主机名解析到不同的ip地址 202.16.0.20 dns ht...
python android api_服务器python 安卓接口
weixin_39957461的博客
12-01 906
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":6,"count":6}]},"card":[{"des":"云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。",...
如何搭建自己CDN服务器
热门推荐
edragonchina的专栏
10-20 3万+
如何搭建自己CDN服务器 目前在免费CDN市场上，360因为“免费”而越做越大，加速乐做的很早。但因免费的节点不多，好多用户都被强走了。安全宝现在也还不错。目前国内的免费CDN市场已呈现三足鼎立趋势。 可为什么我还需要自己搭建CDN服务器来实现网站加速呢？原因有三 1.要用国内的CDN服务器域名都需要备案。 2.免费的CDN服务器的稳定性和加速效果都不是很行。 3.付费的CDN服务器
1、CDN简介
weixin_34129145的博客
08-12 149
一、什么是CDN？ CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导...
Varnish搭建CDN网络服务
weixin_45426401的博客
09-30 214
CDN CDN解析：全称Content Delivery Network，即内容分发网络。 CDN功能：一款高性能且开源的反向代理服务器和HTTP加速器，可以有效降低web服务器的负载，提升访问速度。 CDN的基本原理是广泛采用各种缓存服务器，将这些缓存服务器分布到用户访问相对集中的地区或网络中，在用户访问网站时，利用全局负载技术将用户的访问指向距离最近的工作正常的缓存服务器上，由缓存服务器直接响...
Linux---CDN高速缓存器 Varnish
WY_mini的博客
07-23 764
CDN定义、CDN高速缓存器Varnish定义、Varnish处理HTTP请求过程、Varnish服务器的搭建及配置（安装、配置服务端口、配置单个后端服务器、查看缓存命中、手动清除缓存、配置多个后端服务器、负载均衡、健康检查）、CDN推送平台的搭建
varnish搭建cdn网络------4.0.5版本
wzt888的博客
09-23 226
1.实验环境 rhel 7版本虚拟机 systemctl stop firewalld selinux设置为disabled 2.实验主机 172.25.78.11 varnish缓存主机 172.25.78.12 后端服务器web1 172.25.78.13 后端服务器web2 varnish安装包下载网址 依赖包下载地址 3.开始搭建 base1---- 搭建varn...
linux运维企业篇——网站加速器:varnish实现cdn加速
weixin_44321116的博客
04-13 283
一.用varnish实现cdn加速概念 CDN的全称是Content Delivery Network，即内容奋发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请...
CDN环境搭建
12-21
CDN环境搭建,电子书类，非常详细，涉及DNS，等技术 以vmware为虚拟平台搭建测试
CDNSoft智能一键CDN服务器节点搭建软件
04-01
CDNSoft推出的CDN服务器节点软件是一套基于Delphi开发的CDN 服务器配置软件,高效,稳定,安全！ CDN配置软件可帮助大中小站长或大中小企业低成本,轻松构建自己 的CDN网络或服务器群,提供专业的CDN软件,更好的CDN技术在线服务！ 智能CDN软件功能特性 1、运行于Win2003系统，支持和服务器 2、服务器或必须要独立公网IP 3、服务器或的最低要求单核（不能是Atom），内存512以上，D盘容 量最好40GB以上
CDN搭建
m493096871的博客
01-24 4538
CDN client-&gt;cdn(squid-&gt;HA+F5/LVS(4)-&gt;HA+nginx/haproxy(7)-&gt;web(apache/nginx) -&gt;app(php/jsp)-&gt;DB(mysql&amp;redis) zabbix openstack kvm/docker/k8s|swarm   hadoop nginx可以反向代理 HA高可用 n...
搭建 CDN
云满笔记
12-04 3596
CDN 的全称是 Content Delivery Network, 即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节, 使内容传输的更快、更稳定。
玩转企业常见应用与服务系列（九）：开源HTTP加速器 Varnish 详解
最新发布
民工哥的博客
11-23 84
点击下方名片，设为星标！回复“1024”获取2TB学习资源！前面介绍了企业常用服务NFS、FTP、DHCP、DNS、Samba、lsyncd、Postfix、Squid相关的知识点，今天我将详细的为大家介绍开源HTTP加速器 Varnish相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发朋友圈支持一波！！！CDN 缓存系统CDN （content distribu...
cdn网络搭建
weixin_45303972的博客
10-11 2479
CDN分发网络 CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的...
Linux varnish（一款高性能的开源HTTP加速器）
顿了
01-25 683
Varnish Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好 常用的命令 varnishadm ban.url .*$ #清除所有 varnishadm ban.url /index.html #清除 index.html 页面缓存 varnishad
linux_安装CDN
架构师的成长之路的博客
12-10 1738
安装CDN # rpm -qa | grep bind # rpm -e --nodeps bind-9.8.2-0.47.rc1.el6_8.3.x86_64 删除包 安装bind #yum install bind-chroot bind -y 拷贝文件 #cp -R /usr/share/doc/bind-*/sample/var/named/* /v
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值