Varnish—CDN加速的实现（单个后端服务器）

CDN简介：

CDN的全称——Content Delivery Network，即内容分发网络。

基本思路：是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。

通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。
其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。

Varnish的工作原理图：

• Varnish是一款高性能的开源HTTP加速器，具有反向代理，缓存的功能。
  

VCL (Varnish Configuration Language)处理流程图：

处理过程大致分为如下几个步骤:

• Receive 状态,也就是请求处理的入口状态,根据 VCL 规则判断该请求应该是 Pass 或 Pipe,或者进入 Lookup(本地查询)。
• Lookup 状态,进入此状态后,会在 hash 表中查找数据,若找到,则进入 Hit 状态,否则进入 miss 状态。
• Pass 状态,在此状态下,会进入后端请求,即进入 fetch 状态。
• Fetch 状态,在 Fetch 状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地的存储。
• Deliver 状态, 将获取到的数据发送给客户端,然后完成本次请求。

主机环境：
rhel6 selinux and iptables disabled

实验环境：
需要通过redhat6.5母盘创建3个快照，具体参见此博文：https://blog.csdn.net/hetoto/article/details/90216609

主机名	IP	服务
hetoto1	172.25.12.1	varnish
hetoto2	172.25.12.2	apache
hetoto3	172.25.12.3	apache

一. 部署单个后端服务器的varnish过程

配置hetoto1：

1.在官网下载varnish-libs-3.0.5-1.el6.x86_64.rpm和varnish-3.0.5-1.el6.x86_64.rpm

• http://varnish-cache.org/

安装软件

yum install varnish-3.0.5-1.el6.x86_64.rpm
yum install varnish-libs-3.0.5-1.el6.x86_64.rpm

查看已安装的varnish的配置文件 ：rpm -qc varnish-3.0.5-1.el6.x86_64

安装完成后，在系统的/etc/passwd中生成varnish用户，对varnish的访问控制实质上是对varnish用户的控制实现的

2.配置 varnish 服务端口

[root@hetoto1 ~]# vim /etc/sysconfig/varnish
 8 NFILES=131072         # 最多能打开的文件数，varnish会自动调整该值
 12 MEMLOCK=82000        # 最多能使用的内存空间，varnish会自动调整该值
 15 NPROCS="unlimited"   # 单个用户所能运行的最大线程数
 66 VARNISH_LISTEN_PORT=80  #修稿端口

3.修改varnish用户的限制文件
因为varnish这个程序运行在varnish这个用户的私有空间内，内核对普通用户限制的最大文件数为1024.对varnish用户限制的最大文件数为131072，我们需要满足131072这个最大值。

[root@hetoto1 ~]# vim /etc/security/limits.conf
##在End of file 下面加：
  varnish         -       nofile          131073   # 满足最多能打开的文件数
  varnish         -       memlock         82000
  varnish         -       nproc           unlimited

4.查看最大打开文件个数nfiles：varnish里是131072

使用sysctl -a | grep file 是98864 ，但是vm1没有这么多

查看系统能运行的线程数：ulimit -l

因为varnish这个程序运行在varnish这个用户的私有空间内，内核对普通用户限制的最大文件数为1024.对varnish用户限制的最大文件数为131072，我们需要满足131072这个最大值。
所以修改：
（1） poweroff关闭hetoto1
（2）进入虚拟机管理截面，点击小灯泡：将memory改成2048

开启hetoto1重新ssh连接sysctl -a | grep file 看到最大文件数是188464

5.配置一个后端服务器查看缓存命中情况

[root@hetoto1 ~]# vim /etc/varnish/default.vcl 
backend default {
  .host = "172.25.12.2";  # 后端服务器的ip
  .port = "80";           # 后端服务器的端口
}

6.开启服务，编写配置文件后要重新加载默认文件

[root@hetoto1 ~]# /etc/init.d/varnish start
Starting Varnish Cache:                                    [  OK  ]
[root@hetoto1 ~]# /etc/init.d/varnish reload 

ps ax | grep varnish ##查看varnish进程是否存在

cat /proc/1009/status ##查看varnishd服务进程的状态

配置hetoto2：
1.安装apache

[root@hetoto2 ~]# yum install httpd -y

2.编写前端文件

[root@hetoto2 ~]# cd /var/www/html
[root@hetoto2 html]# vim index.html
[root@hetoto2 html]# cat index.html 
<h1>www.westos.org - hetoto2</h1>

3.开启服务

[root@hetoto2 html]# /etc/init.d/httpd start

测试：

现在在真机上curl 172.25.12.1访问到的是hetoto2的内容

[kiosk@foundation12 ~]$ curl 172.25.12.1
<h1>www.westos.org - server2</h1>

在浏览器上搜172.25.12.1也是server2的内容

二、清除cdn缓存

1.编辑配置文件，查看缓存命中情况

[root@hetoto1 ~]# vim /etc/varnish/default.vcl
backend default {
  .host = "172.25.12.2";
  .port = "80";
}
 
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos.cache";
}                        # 在varnish中命中HIT访问的域名
else {
set resp.http.X-Cache = "MISS from westos cache";
}                        # 后端服务器中得到MISS访问的域名
return (deliver);
}

2.重新加载配置文件

[root@hetoto1 ~]# /etc/init.d/varnish reload

物理机测试：

curl -I 172.25.12.1或curl -I 172.25.12.1/index.html

第一次没有缓存到，则miss

[kiosk@foundation12 ~]$ curl -I 172.25.12.1    ##第一次MISS

第二次缓存到了，则hit，之后一直都是hit

[kiosk@foundation12 ~]$ curl -I 172.25.12.1    ##第二次之后都是HIT

清除缓存的命令（在hetoto1清除）

[root@hetoto1 ~]# varnishadm ban.url .*$           ##清除所有缓存
[root@hetoto1 ~]# varnishadm ban.url /index.html   ##清除网页的缓存
[root@hetoto1 ~]# varnishadm ban.url /admin/$      ##清除admin 目录缓存

再次测试：
显示miss，则清除缓存成功（否则为hit）

[kiosk@foundation12 ~]$ curl -I 172.25.12.1    ##又是MISS，不清除缓存则一直都是HIT