企业-varnish简介、反向代理、缓存加速

• varnish简介

Varnish是一款高性能的开源HTTP加速器
squid加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的硬盘里，客户读取的速率很慢，代理的效率低
varnish加速器（代理缓存服务器）是将从服务器要回来的资源放在自己的内存里，客户读取的速率很快，代理的效率高

Varnish分为master（management）进程和child（worker ，主要做cache的工作）进程。
master进程读入命令，进行一些初始化，然后fork并监控child进程。
child进程分配若干线程进行工作，主要包括一些管理线程和很多woker线程。
针对文件缓存部分，master读入存储配置，调用合适的存储类型，然后创建/读入相应大小的缓存大文件。
接着，master初始化管理该存储空间的结构体。这些变量都是全局变量，在fork以后会被child进程所继承（包括文件描述符）。

处理过程大致分为如下几个步骤:

(1)Receive 状态,也就是请求处理的入口状态,根据 VCL 规则判断该请求应该是 Pass 或Pipe,或者进入
Lookup(本地查询)。

(2)Lookup 状态,进入此状态后,会在 hash 表中查找数据,若找到,则进入 Hit 状态,否则进入 miss 状态。

(3)Pass 状态,在此状态下,会进入后端请求,即进入 fetch 状态。

(4)Fetch 状态,在 Fetch 状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地的存储。

(5)Deliver 状态, 将获取到的数据发送给客户端,然后完成本次请求。

Varnish Configuration Language（VCL）是varnish配置缓存策略的工具，它是一种基于‘域’的简单编程语言，使用VCL编写的缓存策略通常保存在.vcl文件中，其需要编成二进制的格式后才能由varnish调用

• varnishi基本配置

server1：
安装：

rpm -qa |grep varnish	查看版本
rpm -qc varnish			查看一下服务的配置文件
id varnish				安装varnish服务之后就会自动建立这个用户

/etc/logrotate.d/varnish			基本的环境变量

/etc/varnish/varnish.params			服务的基本配置文件（稍后将端口改为80）

/usr/lib/systemd/system/varnish.service	varnish服务启动脚本

vim /usr/lib/systemd/system/varnish.service
NFILES=131072 		最多能打开的文件数，varnish会自动调整该数值 
MEMLOCK=82000 		最多能使用的内存空间，varnish会自动调整该数值 

ulimit -n		打开的文件数
ulimit -l		查看系统的内存大小
free -m			查看系统的剩余内存
sysctl -a | grep file	查看系统允许开启文件的最大个数

varnish这个程序运行在varnish这个用户的私有空间内，内核对普通用户限制的最大文件数为47360，varnish用户的最大文件限制为131072
在模拟中需要满足varnish用户的文件的最大值，可以通过减少varnish最大文件数或者增大系统最大文件数来满足

vim /etc/security/limits.conf		系统参数限制文件,造成varnish已经获得到了需要软件自身的资源,相当于在系统里告诉varnish虽然达不到要求，但尽力满足
varnish          -       nofile          131072
varnish          -       memlock         82000

vim /etc/varnish/varnish.params
VARNISH_LISTEN_PORT=80				监听80端口

systemctl start varnish
ps ax |grep varnish
ps aux |grep varnish
netstat -tnlp

• varnish反向代理搭建

环境：
真机：客户端测试
server1：快照1（varnish代理服务器）
server2：快照2（web服务器）

将server1作为一个代理服务器，它的后端服务器是server2服务器

server1:

vim /etc/varnish/default.vcl			
backend default {
    .host = "172.25.29.2";
    .port = "80";
}
systemctl restart varnish

server2:

systemctl start httpd
cat /var/www/html/index.html
curl localhost

真机测试：

curl 172.25.29.1	访问server1，实际访问的是server2的内容

• Varnish缓存加速：

server1:

vim /etc/varnish/default.vcl
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos cache";	有缓存,默认缓存里的时间最多120秒
}
else {
set resp.http.X-Cache = "MISS from westos cache";	无缓存
}
return (deliver);
}
systemctl restart varnish

真机测试：

curl 172.25.29.1 -I		第一次访问代理服务器上没有，第二次访问代理服务器上已有缓存。

varnishadm ban req.url "~" /				清除缓存

真机测试：

curl 172.25.29.1 -I

curl -I 172.25.29.1/index.html

varnishadm ban req.url "~" /index.html

真机测试：

curl -I 172.25.29.1/index.html