linux中varnish服务

Varnish简述

varnish是一款高性能且开源的方向代理服务器和HTTP加速器，它的开发者poul-Henning kamp FreeBSD 核心的开发人员之一。varnish采用全新的软件体系机构，和现在的硬件体系配合紧密，varnish是一个轻量级的cache和反向代理软件。先进的设计理念和成熟的设计框架式varnish的主要特点。

varnish的特点：

1、基于内存进行缓存，重启后数据将消失。
2、利用虚拟内存方式，I\O性能好。
3、支持设置0~60秒的精确缓存时间。
4、VCL配置管理比较灵活。
5、具有强大的管理功能，例如top、stat、admin、list 等。
6、状态机设计巧妙、结构清晰。
7、利用二叉堆管理缓存文件，可达到积极删除目的。
3）varnish中vcl的使用

处理过程大致分为如下几个步骤:

(1)Receive 状态,也就是请求处理的入口状态,根据 VCL 规则判断该请求应该是 Pass 或
Pipe,或者进入 Lookup(本地查询)。
(2)Lookup 状态,进入此状态后,会在 hash 表中查找数据,若找到,则进入 Hit 状态,否则进
入 miss 状态。
(3)Pass 状态,在此状态下,会进入后端请求,即进入 fetch 状态。
(4)Fetch 状态,在 Fetch 状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地
的存储。
(5)Deliver 状态, 将获取到的数据发送给客户端,然后完成本次请求。

1.安装服务

在server1中：
cd /etc/varnish/
yum install varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm -y
vim /etc/security/limits.conf
写入：
varnish          -     nofile      131073   ##最大文件数
varnish          -     memlock     82000    ##最大内存空间
varnish          -     nproc       unlimited  ##子线程数

（1）

在server1中即varnish机
vim /etc/sysconfig/varnish    ##varnish的配置文件，配置 varnish 服务端口
VARNISH_LISTEN_PORT=80   ##varnish监听端口
vim /etc/varnish/default.vcl    ##配置一个后端服务器，缓存配置
backend default {
.host = "172.25.3.2";
.port = "80";
}
该块用于配置一块Varnish默认的后端服务器，当varnish需要从后端服务器获取数据时就会访问自己的80端口，varnish也可以定义多台后端服务器实现负载均衡.
/etc/init.d/varnish start

测试:

在server2中：
yum install httpd -y
/etc/init.d/httpd start #6.5系统开启服务命令
vim /var/www/html/index.html
www.westos.org--server2
在server3中：
yum install httpd -y
/etc/init.d/httpd start
vim /var/www/html/index.html
www.westos.org--server3
Test：在浏览器搜索172.25.3.1 -----> 显示的是www.westos.org--server2

查看缓存命中情况

在server1即varnish机上：
vim default.vcl #查看缓存命中情况，命中即varnish缓存中是否有需要的数据，命中则显示HIT,未命中则显示MISS
12 sub vcl_deliver {
13 if (obj.hits > 0) {
14 set resp.http.X-Cache = "HIT from westos cache";
15 }
16 else {
17 set resp.http.X-Cache = "MISS from westos cache";
18 }
19 return (deliver);
20 }
/etc/init.d/varnish reload #修改配置文件后重新加载，不能retart

测试,在真机中：

用curl命令，curl直接加域名显示网页内容，curl -I 加域名显示头文件信息
curl www.westos.org
www.westos.org--server2
vim /etc/hosts
172.25.3.1 www.westos.org

curl -I www.westos.org #第一次查询，varnish上无缓存，显示MISS

curl -I www.westos.org #第一次查询，varnish上有缓存，显示HIT

通过 varnishadm 手动清除缓存

varnishadm ban.url .*$
清除所有
varnishadm ban.url /index.html
清除 index.html 页面缓存
varnishadm ban.url /admin/$
清除 admin 目录缓存

注意：当清空缓存后第一次搜索，无缓存，显示MISS

#定义多个不同域名站点的后端服务器

在varnish机上：
vim default.vc #配置两台后端服务器
backend web1 {
.host = "172.25.3.2";
.port = "80";
}

backend web2 {
.host = "172.25.3.3";
.port = "80";
}
sub vcl_recv {
if (req.http.host ~ "^(www.)?westos.org") { #当域名为以www.westso.org开头或westos.org时去web1主机缓存
set req.http.host = "www.westos.org";
set req.backend = web1;
} elsif (req.http.host ~ "^bbs.westos.org") { #当域名以bbs.westos.org开头 时去web2主机缓存
set req.backend = web2;
} else {error 404 "westos cache";
}
}
/etc/init.d/varnish reload   ###重新加载

测试：

vim /etc/hosts
172.25.3.1 www.westos.org bbs.westos.org 
[kiosk@foundation3 ~]$ curl www.westos.org
www.westos.org--server2
[kiosk@foundation3 ~]$ curl bbs.westos.org
www.westos.org--server3
####当在server上关闭httpd,访问就会出错
[root@server2 ~]# /etc/init.d/httpd stop
[kiosk@foundation3 ~]$ curl www.westos.org

访问www.westos.org时：

访问westos.org时：

访问bbs.westos.org时：

负载均衡

varnish 群组定义

VCL 可以把多个 backends 聚合成一个组，这些组被叫做 director，这样可以增强性能和弹力，当组里一个 backend 挂掉后，可以选择另一个健康的 backend。VCL 有多种 director，不同的 director 采用不同的算法选择 backend，主要有以下几种：
..Random director 会根据所设置的权值（weight）来选择 backend，.retries 参数表示尝试找到一个 backend 的最大次数，.weight 参数表示权值
..Round-robin director 在选择 backend 时，会采用循环的方式依次选择。

在server2中：
[root@server2 ~]# vim /etc/httpd/conf/httpd.conf #配置虚拟主机
990 NameVirtualHost *:80  ###第990行去掉注释符

1011 <VirtualHost *:80>
1012 DocumentRoot /var/www/html
1013 ServerName www.westos.org
1014 </VirtualHost>
1015
1016 <VirtualHost *:80>
1017 DocumentRoot /www1
1018 ServerName bbs.westos.org
1019 </VirtualHost>

在server2中：
[root@server2 ~]# mkdir /www1 #建立默认目录，编写头文件
[root@server2 ~]# vim /www1/index.html
bbs.westos.org
[root@server2 ~]# /etc/init.d/httpd restart
[root@server1 varnish]# vim default.vc #这里用round-robin做实验
backend web1 {
.host = "172.25.3.2";
.port = "80";
}

backend web2 {
.host = "172.25.3.3";
.port = "80";
}
director westos round-robin { #建立一个名为lb的组，实现web1和web2之间的轮询
{ .backend = web1; }
{ .backend = web2; }
}
sub vcl_recv {
if (req.http.host ~ "^(www.)?westos.org") { #当客户端搜索符合条件的域名时，用westos组实现轮询
set req.http.host = "www.westos.org";
set req.backend = westos;
return (pass);  
} elsif (req.http.host ~ "^bbs.westos.org") {
set req.backend = web2;
} else {error 404 "westos cache";
}
}
#####当这行不加return (pass)时,它会先访问缓存里的东西,直到缓存时间结束才会轮换
#####注意：一般都不加pass不然后端的压力会更大
/etc/init.d/varnish reload  ###重新加载

测试：实现负载均衡

当server2和server3的都开着时
[kiosk@foundation3 ~]$ curl www.westos.org
www.westos.org--server2
[kiosk@foundation3 ~]$ curl www.westos.org
www.westos.org--server3
[kiosk@foundation3 ~]$ curl www.westos.org
www.westos.org--server2
[kiosk@foundation3 ~]$ curl www.westos.org
www.westos.org--server3

当server2的httpd关着时

当server3的httpd关着时

当server2和server3的httpd都关着时

cdn推送平台的搭建

在server1主机上：
 yum install httpd -y
 vim /etc/httpd/conf/httpd.conf 
 将监听端口改为8080,防止和varnish主机80端口冲突
 /etc/init.d/httpd restart

在真机中：
下载bansys.zip包
scp bansys.zip root@172.25.3.1:/root  ###发送到server1主机上
在server1主机上：
yum install php -y
yum install unzip -y
unzip bansys.zip -d /var/www/html/
cd /var/www/html/
ls
cd bansys/
ls
mv * /var/www/html
ls
cd  /var/www/html/
vim config.php  ###编辑这个文件
/etc/init.d/httpd start
netstat -antlp   ###查看8080端口是否开启

bansys 有两种工作模式,分别是:telnet 和 http 模式。

1.telnet 模式需要关闭 varnish 服务管理端口的验证,注释掉/etc/sysconfig/varnish 文件中的 “ -S ${VARNISH_SECRET_FILE}”这行,重启 varnish 服务即可。
如果是 http 模式需要对 varnish 做以下设置:

vim /etc/varnish/default.vcl

写入：
写入文件最上面：

下面这块要写入recv接收函数里：

/etc/init.d/varnish reload ###重新加载varnish
注意：此时server2和server3的httpd要打开
Varnish机中：default.vcl中的return行要注释掉

设置成功后推送平台界面：

注意：要选择http推送模式在此界面推送消息，刷新www.westos.org/index.html



这样每推送一次,会清除记录在缓存中东西,直接到后端去拿,这样就能完成实时更新,而不会影响后端的压力（即查看指定目录或图片更新,不影响其他缓存）