Varnish——CDN加速的实现（单个后端服务器）

Varnish的工作原理图：

• Varnish是一款高性能的开源HTTP加速器，具有反向代理，缓存的功能。
  

VCL (Varnish Configuration Language)处理流程图：

处理过程大致分为如下几个步骤:

• Receive 状态,也就是请求处理的入口状态,根据 VCL 规则判断该请求应该是 Pass 或 Pipe,或者进入 Lookup(本地查询)。
• Lookup 状态,进入此状态后,会在 hash 表中查找数据,若找到,则进入 Hit 状态,否则进入 miss 状态。
• Pass 状态,在此状态下,会进入后端请求,即进入 fetch 状态。
• Fetch 状态,在 Fetch 状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地的存储。
• Deliver 状态, 将获取到的数据发送给客户端,然后完成本次请求。

CDN简介：

• CDN的全称——Content Delivery Network，即内容分发网络。
• 基本思路：是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。
• 通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。
• 其目的是使用户可就近取得所需内容，解决 Internet网络拥挤的状况，提高用户访问网站的响应速度。

主机环境：

rhel6 selinux and iptables disabled

实验环境：

主机名	IP	服务
server1	172.25.64.1	varnish
server2	172.25.64.2	apache
server3	172.25.64.3	apache

• 实验环境的搭建：

1. 官网下载rhel6.5的镜像，安装一个linux6.5的虚拟机（最小安装即可）
2. 虚拟机的配置

（1） cd /etc/udev/rules.d ，删除以70开头的文件

（2）设置本地域名及解析vim /etc/hosts


（3）配置yum源（需搭建网络yum源，填写网络yum源地址）


baseurl写自己物理机的共享6.5yum源
yum clean all 清理缓存
yum repolist 查看可用的包

（4）设置selinux为disabled模式


（5）关闭防火墙（linux6.5中火墙采用iptables）

（6）现在需要的安装包

（7）设置完成之后poweroff而不能reboot

• 如果reboot，那么一切配置会全部失效

3. 用快照的方式创建三个虚拟机
   （1） cd /var/lib/libvirt/images/
   （2）创建三个快照vm1，vm2，vm3
   
   （3）进入虚拟机个管理界面（virt-manager），建立虚拟机

• 点击小灯泡
  
• 导入现有光盘镜像
  
  -选择刚才创建的快照vm1
  
  -给虚拟机命名
  
• 按上述方式创建三个虚拟机
  

4. 配置三个虚拟机的主机名和网络

• 配置主机名
  
  
• 配置网络
  
  
• 重启服务
  
• 同样的另外两台虚拟机也进行同样的设置
  配置好的信息如下：

主机名	IP
server1	172.25.64.1
server2	172.25.64.2
server3	172.25.64.3

一. 部署单个后端服务器的varnish过程

• 配置server1：

1. 在官网下载varnish-libs-3.0.5-1.el6.x86_64.rpm和varnish-3.0.5-1.el6.x86_64.rpm

• http://varnish-cache.org/releases/install_redhat.html#install-redhat

yum install varnish-3.0.5-1.el6.x86_64.rpm
yum install varnish-libs-3.0.5-1.el6.x86_64.rpm

• 安装完成后，在系统的/etc/passwd中生成varnish用户，对varnish的访问控制实质上是对varnish用户的控制实现的
  

2. 配置 varnish 服务端口

[root@server1 ~]# vim /etc/sysconfig/varnish
 8 NFILES=131072         # 最多能打开的文件数，varnish会自动调整该值
 12 MEMLOCK=82000        # 最多能使用的内存空间，varnish会自动调整该值
 15 NPROCS="unlimited"   # 单个用户所能运行的最大线程数
 66 VARNISH_LISTEN_PORT=80  #修稿端口

3. 修改varnish用户的限制文件

• 因为varnish这个程序运行在varnish这个用户的私有空间内，内核对普通用户限制的最大文件数为1024.对varnish用户限制的最大文件数为131072，我们需要满足131072这个最大值。

[root@server1 ~]# vim /etc/security/limits.conf
##在End of file 下面加：
  varnish         -       nofile          131073   # 满足最多能打开的文件数
  varnish         -       memlock         82000
  varnish         -       nproc           unlimited

4. 最大打开文件个数nfiles：varnish里是131072

• 但是使用sysctl -a | grep file 是98864 ，但是vm1没有这么多
  
• 修改：
  （1） poweroff关闭server1
  （2）进入虚拟机管理截面，点击小灯泡：将memory改成2048
  
  （3） 开启server1重新ssh连接sysctl -a | grep file 看到最大文件数是188464
  

5. 配置一个后端服务器

[root@server1 ~]# vim /etc/varnish/default.vcl 
backend default {
  .host = "172.25.64.2";  # 后端服务器的ip
  .port = "80";   # 后端服务器的端口
}

6. 开启服务，编写配置文件后要重新加载默认文件

[root@server1 ~]# /etc/init.d/varnish start
Starting Varnish Cache:                                    [  OK  ]
[root@server1 ~]# /etc/init.d/varnish reload 

• server2
  1.安装apache

[root@server2 ~]# yum install httpd -y

2. 编写前端文件

[root@server2 ~]# cd /var/www/html
[root@server2 html]# vim index.html
[root@server2 html]# cat index.html 
<h1>www.westos.org - server2</h1>

3. 开启服务

[root@server2 html]# /etc/init.d/httpd start

• 测试：

• 现在在真机上curl 172.25.64.1访问到的是server2的内容

• 在浏览器上搜172.25.64.1也是server2的内容

[kiosk@foundation64 ~]$ curl 172.25.64.1
<h1>www.westos.org - server2</h1>

二、清除cdn缓存

1. 编辑配置文件，查看缓存命中情况

[root@server1 ~]# vim /etc/varnish/default.vcl
backend default {
  .host = "172.25.64.2";
  .port = "80";
}
 
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos.cache";
}                        # 在varnish中命中HIT访问的域名
else {
set resp.http.X-Cache = "MISS from westos cache";
}                        # 后端服务器中得到MISS访问的域名
return (deliver);
}

2. 重新加载配置文件

[root@server1 ~]# /etc/init.d/varnish reload

• 物理机测试：
  第一次没有缓存到，则miss

[kiosk@foundation64 ~]$ curl -I 172.25.64.1
HTTP/1.1 200 OK
Server: Apache/2.2.15 (Red Hat)
Last-Modified: Sat, 26 Jan 2019 08:39:49 GMT
ETag: "9f8fc-22-5805862f55d30"
Content-Type: text/html; charset=UTF-8
Content-Length: 34
Accept-Ranges: bytes
Date: Sat, 26 Jan 2019 08:50:18 GMT
X-Varnish: 1537485461
Age: 0
Via: 1.1 varnish
Connection: keep-alive
X-Cache: MISS from westos cache   ##第一次MISS

第二次缓存到了，则hit，之后一直都是hit

[kiosk@foundation64 ~]$ curl -I 172.25.64.1
HTTP/1.1 200 OK
Server: Apache/2.2.15 (Red Hat)
Last-Modified: Sat, 26 Jan 2019 08:39:49 GMT
ETag: "9f8fc-22-5805862f55d30"
Content-Type: text/html; charset=UTF-8
Content-Length: 34
Accept-Ranges: bytes
Date: Sat, 26 Jan 2019 08:50:20 GMT
X-Varnish: 1537485462 1537485461
Age: 2
Via: 1.1 varnish
Connection: keep-alive
X-Cache: HIT from westos.cache    ##第二次之后都是HIT

• 清除缓存的命令（在server1清除）

[root@server1 ~]# varnishadm ban.url .*$           ##清除所有缓存
[root@server1 ~]# varnishadm ban.url /index.html   ##清除网页的缓存
[root@server1 ~]# varnishadm ban.url /admin/$      ##清除admin 目录缓存

• 再次测试：
  显示miss，则清除缓存成功（否则为hit）

[kiosk@foundation64 ~]$ curl -I 172.25.64.1
HTTP/1.1 200 OK
Server: Apache/2.2.15 (Red Hat)
Last-Modified: Sat, 26 Jan 2019 08:39:49 GMT
ETag: "9f8fc-22-5805862f55d30"
Content-Type: text/html; charset=UTF-8
Content-Length: 34
Accept-Ranges: bytes
Date: Sat, 26 Jan 2019 08:50:18 GMT
X-Varnish: 1537485461
Age: 0
Via: 1.1 varnish
Connection: keep-alive
X-Cache: MISS from westos cache   ##又是MISS，不清除缓存则一直都是HIT