企业CDN缓存系统varnish———搭建一个最基本的varnish系统

1.什么是varnish？
Varnish是一款高性能的开源HTTP加速器，squid加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的硬盘里，客户读取的速率很慢，代理的效率低，varnish加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的内存里，客户读取的速率很快，代理的效率高。
varnish代理服务器的工作方式有两种
（1）仅仅作为一个代理服务器：帮客户端去问服务端要数据，要回来的数据直接给客户端自己不缓存一份，这种情况是客户的隐私信息、
热点信息、更新比较快的数据，不缓存，只代理。
（2）既代理又缓存：帮客户端去问服务端要数据，要回来的数据先给自己缓存一份，然后再发给客户端，这种情况是用于更新比较慢的数据，此时varnish既代理又缓存。

2.为什么要有varnish加速缓存代理服务器
比如：我们国家使用微信的用户非常多，微信的服务商腾讯总部在深圳
当每个地区的用户使用微信访问腾讯服务器的资源的时候，访问量太大
对于深圳的服务器来说，会造成很大的访问压力，甚至会造成服务器瘫痪
对于每个地区的用户来数，如果都去访问腾讯的总部服务器，会造成网络拥塞，使得客户的访问很缓慢，不利于用户的使用
现在腾讯总部给每个地区都放varnish代理服务器，每个地区的微信使用用户想访问深圳资源的时候
都会间接去问自己地区的varnish代理服务器要资源
如果varnish代理服务器上面没有资源，此时varnish代理服务器就会去向深圳的服务器要资源，将要回来的资源视情况而定给自己缓存一份，然后再给客户端发一份。这种情况下，varnish代理服务器的数量远远少于微信用户的数量，即使所有的varnish代理服务器同时向深圳总部的服务器要资源的时候，也不会给深圳的服务器造成很大的压力，对微信使用的客户端和深圳总部的服务端都有好处
假如代理服务器缓存了一些更新慢的数据，当客户端再次要这个数据的时候，代理服务器会直接返回给客户端，不需要再去问深圳的服务器要资源，那么这就是把varnish服务器叫做加速器的原因，加快了客户端和服务端之间的访问速率

3.varnish加速器的工作流程
Varnish与一般服务器软件类似，分为master（management）进程和child（worker ，主要做cache的工作）进程。
master进程读入命令，进行一些初始化，然后fork并监控child进程。
child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。
针对文件缓存部分，master读入存储配置，调用合适的存储类型，然后创建/读入相应大小的缓存大文件。
接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。
在child进程主线程初始化过程中，将前面打开的存储大文件整个mmap到内存中
（如果超出系统的虚拟内存，mmap失败，进程会减少原来的配置mmap大小，然后继续mmap）
此时创建并初始化空闲存储结构体，挂到存储管理结构体，以待分配。
接着，真正的工作开始，Varnish的某个负责接受新HTTP连接的线程开始等待用户，如果有新的HTTP连接过来，它总负责接收，
然后叫醒某个等待中的线程，并把具体的处理过程交给它。Worker线程读入HTTP请求的URI，查找已有的object，
如果命中则直接返回并回复用户。如果没有命中，则需要将所请求的内容，从后端服务器中取过来，存到缓存中，然后再回复。
分配缓存的过程是这样的：它根据所读到object的大小，创建相应大小的缓存文件。
为了读写方便，程序会把每个object的大小变为最接近其大小的内存页面倍数。
然后从现有的空闲存储结构体中查找，找到最合适的大小的空闲存储块，分配给它。
如果空闲块没有用完，就把多余的内存另外组成一个空闲存储块，挂到管理结构体上。
如果缓存已满，就根据LRU机制，把最旧的object释放掉。
释放缓存的过程是这样的：有一个超时线程，检测缓存中所有object的生存期
如果超初设定的TTL（Time To Live）没有被访问，就删除之，并且释放相应的结构体及存储内存
注意释放时会检查该存储内存块前面或后面的空闲内存块
如果前面或后面的空闲内存和该释放内存是连续的，就将它们合并成更大一块内存。
整个文件缓存的管理，没有考虑文件与内存的关系，实际上是将所有的object都考虑是在内存中
如果系统内存不足，系统会自动将其换到swap空间，而不需要varnish程序去控制。

4.搭建一个最基本的varnish代理缓存服务器
步骤一：安装7.3镜像虚拟机，本地安装

安装完成后配置，ip，网关，yum源，hostname


接下来将在node1上面搭建varnish代理服务器，node2上面搭建web服务器，node3上面搭建web服务器，真机是一个客户端。
先用真机来分别ssh server1，2，3，方便以后的操作。
先用真机给server1传varnish的安装包

在server1上安装

 查看varnish服务的一些基本配置信息

rpm -qa | grep varnish查看版本

rpm -qc varnish查看一下服务的配置文件

vim /etc/logrotate.d/varnish是基本的环境变量

vim /etc/varnish/varnish.params是服务的基本配置文件
id varnish安装varnish服务之后就会自动建立这个用户

vim /usr/lib/systemd/system/varnish.service是varnish服务启动脚本
里面有一些最基本的参数：允许开启的文件个数 内存锁定大小

ulimit -l查看系统的内存大小

free -m查看系统的剩余内存

sysctl -a | grep file查看系统允许开启文件的最大个数

vim /etc/security/limits.conf系统参数限制文件

写入
varnish nofile 131072
varlish memlock 82000

重启服务

修改varnish服务使用的端口为80

重启服务

netstat -tnlp

现在node1上面varnish代理服务器已经搭建好

将server2搭建成web服务器

启动httpd服务
vim /var/www/html/index.html 写一个发布页面

curl localhost 可见已经搭建好了

node1上面设置，将node1作为一个代理服务器，它的后端服务器是node2这个web服务器
客户端请求web服务器的资源通过node1这个代理服务器

vim /etc/varnish/defaults.cvl

将ip改为172.25.15.2（改称node2的ip）

80
systemctl restart varnish
netstat -tnlp

在真机上面进行测试，真机是一个客户端，想通过node1（varnish代理缓存服务器）访问node2（web服务器）的web资源
curl 172.25.15.1(找的是172.25.15.2的资源)
1.真机上做本地解析，使用server1的ip访问server2的资源

继续在server1上配置
参考pdf手册
vim /etc/varnish/defaults.cvl

写入sub vcl_deliver模块
写入两种情况：node1有缓存 node1没有缓存
systemctl restart varnish

在真机上面进行测试
客户端第一次去向代理服务器要东西，代理服务器上没有缓存 MISS，需要去向后端服务器要

客户端第二次问代理服务器要资源时，代理服务器上已经有缓存 HIT，直接给客户端

在node1上面varnishadm ban req.url “~” / 清除缓存

继续在客户端上测试
发现变成了MISS

再次curl，成了HIT

再次验证 curl 172.25.15.1/index.html


清除缓存

测试