varnish工作原理
Varnish与一般服务器软件类似，分为master（management）进程和child（worker，主要做cache的工作）进程。master进程读入命令，进行一些初始化，然后fork并监控child进程。child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。
针对文件缓存部分，master读入存储配置（-s file[,path[,size[,granularity]]] ），调用合适的存储类型，然后创建/读入相应大小的缓存大文件。接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。
在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中（如果超出系统的虚拟内存，mmap失败，进程会减少原来的配置mmap大小，然后继续mmap），此时创建并初始化空闲存储结构体，挂到存储管理结构体，以待分配。
接着，真正的工作开始，Varnish的某个负责接受新HTTP连接的线 程开始等待用户，如果有新的HTTP连接过来，它总负责接收，然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的 URI，查找已有的object，如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。
分配缓存的过程是这样的：它根据所读到object的大小，创建相应大小的缓存文件。为了读写方便，程序会把每个object的大小变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。如果缓存已满，就根据LRU机制，把最旧的object释放掉。
释放缓存的过程是这样的：有一个超时线程，检测缓存中所有object的生存期，如果超初设定的TTL（Time To Live）没有被访问，就删除之，并且释放相应的结构体及存储内存。注意释放时会检查该存储内存块前面或后面的空闲内存块，如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。
整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的object都考虑是在内存中，如果系统内存不足，系统会自动将其换到swap空间，而不需要varnish程序去控制。
————————百度百科
我们可以用varnish完成多个项目
varnish服务器server1：172.25.35.1
1.安装varnish及测试
[root@server1 home]# yum install -y varnish-*
查看当前环境
[root@server1 ~]# sysctl -a | grep file
fs.file-nr = 416 0 188465
fs.file-max = 188465
[root@server1 ~]# ulimit -l
64#适配软件环境
vim /etc/sysconfig/varnish 7 # Maximum number of open files (for ulimit -n)
8 NFILES=131072
9
10 # Locked shared memory (for ulimit -l)
11 # Default log size is 82MB + header
12 MEMLOCK=82000
13
14 # Maximum number of threads (for ulimit -u)
15 NPROCS="unlimited"
修改默认端口
66 VARNISH_LISTEN_PORT=80修改服务配置文件
vim /etc/varnish/default.vclbackend default {
.host = "172.25.35.2";
.port = "80";
}给软件运行环境
vim /etc/security/limits.conf
varnish - nofile 131072
varnish - memlock 82000
varnish - nproc unlimited开启服务
[root@server1 ~]# /etc/init.d/varnish start
Starting Varnish Cache: [ OK ]http服务器配置 ：
IP：172.25.35.2
#处理默认发布页
vim /var/www/html/index.html
server2's Apache server#开启服务
/etc/init.d/httpd start客户机测试：
[kiosk@foundation35 ~]$ curl 172.25.35.1
server2's Apache server2.代理缓存
varnish服务器:
添加
vim /etc/varnish/default.vcl
7 backend default {
8 .host = "172.25.35.2";
9 .port = "80";
10 }
11
12 sub vcl_deliver {
13 if (obj.hits > 0) {
14 set resp.http.X-Cache = "HIT from westos cache";
15 }
16 else {
17 set resp.http.X-Cahce = "MISS from westos cache";
18 }
19 return (deliver);
20 }重启服务：
[root@server1 ~]# /etc/init.d/varnish reload清除本地所有缓存：
varnishadm ban.url .*$客户机测试：
第一次：
[root@foundation35 kiosk]# curl -I www.westos.org
HTTP/1.1 200 OK
Server: Apache/2.2.15 (Red Hat)
Last-Modified: Thu, 24 Jan 2019 03:40:27 GMT
ETag: "3febf-18-5802bf8a6b80f"
Content-Type: text/html; charset=UTF-8
Content-Length: 24
Accept-Ranges: bytes
Date: Thu, 24 Jan 2019 06:01:53 GMT
X-Varnish: 686661928
Age: 0
Via: 1.1 varnish
Connection: keep-alive
X-Cahce: MISS from westos cache第二次：
[root@foundation35 kiosk]# curl -I www.westos.org
HTTP/1.1 200 OK
Server: Apache/2.2.15 (Red Hat)
Last-Modified: Thu, 24 Jan 2019 03:40:27 GMT
ETag: "3febf-18-5802bf8a6b80f"
Content-Type: text/html; charset=UTF-8
Content-Length: 24
Accept-Ranges: bytes
Date: Thu, 24 Jan 2019 06:01:54 GMT
X-Varnish: 686661929 686661928
Age: 1
Via: 1.1 varnish
Connection: keep-alive
X-Cache: HIT from westos cache
3.不同服务器代理不同服务
目的：
172.25.35.2 www.westos.org
172.25.35.3 bbs.westos.orgvarnish服务器：
7 backend web1 {
8 .host = "172.25.35.2";
9 .port = "80";
10 }
11
12 backend web2 {
13 .host = "172.25.35.3";
14 .port = "80";
15 }
16
17 sub vcl_recv{
18 if (req.http.host ~ "^(www.)?westos.org") {
19 set req.http.host = "www.westos.org";
20 set req.backend = web1;
21 }elsif (req.http.host ~ "^bbs.westos.org") {
22 set req.backend = web2;
23 } else {
24 error 404 "westos cache";
25 }
26 }重启服务：
[root@server1 ~]# /etc/init.d/varnish reload客户机测试：
添加本地解析：
vim /etc/hosts
172.25.35.1 server1 www.westos.org bbs.westos.org[root@foundation35 kiosk]# curl www.westos.org
server2's Apache server
[root@foundation35 kiosk]# curl bbs.westos.org
server3's Apache server4.负载均衡
varnish服务器
17 director lb round-robin {
18 { .backend = web1; }
19 { .backend = web2; }
20 }
21
22 sub vcl_recv {
23 if (req.http.host ~ "^(www.)?westos.org") {
24 set req.http.host = "www.westos.org";
25 set req.backend = lb;
26 return (pass); #清除缓存，不然有缓存不会轮询
27 }elsif (req.http.host ~ "^bbs.westos.org") {
28 set req.backend = web2;
29 }else {
30 error 404 "westos cache";
31 }
32 }重启服务，清除缓存
[root@server1 ~]# /etc/init.d/varnish reload
[root@server1 ~]# varnishadm ban.url .*$客户机测试：
轮询访问
[root@foundation35 kiosk]# curl www.westos.org
server2's Apache server
[root@foundation35 kiosk]# curl www.westos.org
server3's Apache server
[root@foundation35 kiosk]# curl www.westos.org
server2's Apache server
[root@foundation35 kiosk]# curl www.westos.org
server3's Apache server
[root@foundation35 kiosk]# curl www.westos.org
server2's Apache server5.CDN推送管理
使用图形化界面清除所有缓存
[root@server1 home]# ls
bansys.zip varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm
yum install -y unzip httpd phpunzip bansys.zip -d /var/www/html/
cd /var/www/html/
cd bansys/
mv * /var/www/html/
vim config.phpphp网页脚本示例：
<?php
//varnish主机列表
//可定义多个主机列表
$var_group1 = array(
'host' => array('172.25.35.1'),
'port' => '8080',
);
//varnish群组定义
//对主机列表进行绑定
$VAR_CLUSTER = array(
'www.westos.org' => $var_group1,
);
//varnish版本
//2.x和3.x推送命令不一样
$VAR_VERSION = "3";
?>修改8080端口
vim /etc/httpd/conf/httpd.conf
136 Listen 8080vim /etc/varnish/default.vcl
设置CDN的acl访问控制：
6 acl westos {
7 "127.0.0.1";
8 "172.25.35.0"/24;
9 }
10
11 sub vcl_recv {
12 if (req.request == "BAN") {
13 if (!client.ip ~ westos) {
14 error 405 "Not allowed.";
15 }
16 ban("req.url ~ " + req.url);
17 error 200 "ban added";
18 }
19 }注释掉上节，不然会影响实验：
40 # return (pass);重启varnish
/etc/init.d/varnish restart测试：
客户机浏览器访问
http://172.25.35.1:8080/
通过http服务发送 .* 清除所有缓存
[.*] , 正在推送中...
172.25.35.1,推送成功！
群组[www.westos.org],全部推送成功
扫一扫
3205
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
