os：
[root@aliyun_test html]# cat /etc/system-release
CentOS release 6.5 (Final)
首先安装varnish：
配置好varnish源
[root@aliyun_test yum.repos.d]# cat >> varnish.repo << EOF
> [varnish]
> name=varnish for enterprise linux 6
> baseurl=https://repo.varnish-cache.org/redhat/varnish-4.0/el6/
> enabled=1
> gpgcheck=0
> cost=500
> EOF
安装varnish
yum -y install varnish
[root@aliyun_test html]# varnishd -V
varnishd (varnish-4.0.3 revision b8c4a34)
Copyright (c) 2006 Verdens Gang AS
Copyright (c) 2006-2014 Varnish Software AS
Built in subroutines
Varnish 处理 HTTP 请求的过程如下
Receive 状态（vcl_recv）：也就是请求处理的入口状态，根据 VCL 规则判断该请求应该 pass（vcl_pass）或是 pipe（vcl_pipe），还是进入 lookup（本地查询）；
Lookup 状态：进入该状态后，会在 hash 表中查找数据，若找到，则进入 hit（vcl_hit）状态，否则进入 miss（vcl_miss）状态；
Pass（vcl_pass）状态：在此状态下，会直接进入后端请求，即进入 fetch（vcl_fetch）状态；
Fetch（vcl_backend_fetch）状态：在 fetch 状态下，对请求进行后端获取，发送请求，获得数据，并根据设置进行本地存储；
Deliver（vcl_deliver）状态：将获取到的数据发给客户端，然后完成本次请求；
注：Varnish4中在vcl_fetch部分略有出入，已独立为vcl_backend_fetch和vcl_backend_response 2个函数；
内置函数(也叫子例程)
vcl_recv：用于接收和处理请求；当请求到达并成功接收后被调用，通过判断请求的数据来决定如何处理请求；
vcl_pipe：此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，并将后端响应原样返回客户端；
vcl_pass：此函数在进入pass模式时被调用，用于将请求直接传递至后端主机，但后端主机的响应并不缓存直接返回客户端；
vcl_hit：在执行 lookup 指令后，在缓存中找到请求的内容后将自动调用该函数；
vcl_miss：在执行 lookup 指令后，在缓存中没有找到请求的内容时自动调用该方法，此函数可用于判断是否需要从后端服务器获取内容；
vcl_hash：在vcl_recv调用后为请求创建一个hash值时，调用此函数；此hash值将作为varnish中搜索缓存对象的key；
vcl_purge：pruge操作执行后调用此函数，可用于构建一个响应；
vcl_deliver：将在缓存中找到请求的内容发送给客户端前调用此方法；
vcl_backend_fetch：向后端主机发送请求前，调用此函数，可修改发往后端的请求；
vcl_backend_response：获得后端主机的响应后，可调用此函数；
vcl_backend_error：当从后端主机获取源文件失败时，调用此函数；
vcl_init：VCL加载时调用此函数，经常用于初始化varnish模块(VMODs)
vcl_fini：当所有请求都离开当前VCL，且当前VCL被弃用时，调用此函数，经常用于清理varnish模块；
vcl_pass:请求后端，但不进入到cache中
client---------->varnish-------------->backend severs
client------>varnish:req请求报文
varnish----->backend:bereq向后端请求
backend----->varnish:beresp后端响应给缓存服务器
varnish----->client：resp缓存响应给client
缓存处理的具体步骤：
接受客户端请求
解析请求（具有代理的功能）
查询缓存（检测本地缓存中是否存在对方请求的内容的副本）
副本的新鲜度检测（检查本地的缓存副本是否为最新版本）
构建响应（代理的功能）
发送响应
记录日志
首部：
通用首部
Connection：close|keep-alive
Date：日期时间
host：请求的主机
Pragma：no-cache
Via：请求或响应在客户端和服务器之间传递时所经过的代理
Transfer-Encoding：消息主体的传输编码方式，chunked表示采用块编码的方式
请求首部
if-modified-since
if-none-match
Referer：跳转
User-Agent：用户的浏览器类型
Host：请求的主机
Accept-Encoding：接受的编码方式
Accept-Language：接受的自然语言
Authorization：服务器发送www-authenticate时，客户端通过此首部提供认证信息
Accept-Charset：接受的字符集
响应首部
ETag：内容的扩展标签
Location：重定向后的新位置
Server：服务器软件信息
www-authenticate：要求对客户端进行认证
实体首部
Content-Encoding：内容编码
Content-Language：内容语言
Content-Length：内容长度
Content-Type：内容的MIME格式
Expires：内容的过期时间
Last-Modified：最后一次修改的时间
配置文件：
vi /etc/sysconfig/varnish
NFILES=131072:打开的最大文件数
NFILES=131072：默认日志内存大小
NPROCS="unlimited"：最大线程数（ulimit -u）
RELOAD_VCL=1：直接加载，不用重启
VARNISH_LISTEN_PORT=6081：varnish服务监听的端口，一般改为与后端web服务一样的端口
VARNISH_ADMIN_LISTEN_PORT=6082：远程管理接口监听的端口
VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1：远程管理端监听的ip（本机varnish服务）
VARNISH_SECRET_FILE=/etc/varnish/secret：对管理接口秘钥文件
VARNISH_MIN_THREADS=50：varnish服务开启的最小线程
VARNISH_MAX_THREADS=1000：varnish服务开启的最大线程
VARNISH_STORAGE_SIZE=256M：varnish服务存储的内存大小
VARNISH_STORAGE="malloc,${VARNISH_STORAGE_SIZE}"：varnish缓存存储的方式，malloc内存
VARNISH_TTL=120
vi /etc/varnish/default.vcl
backend default {:后端web服务器以及名称
.host = "127.0.0.1";：后端web服务器主机
.port = "8080";：后端web服务器监听的端口
}
varnish存储缓存内容的方法：
1、file：自管理的文件系统，黑盒，只对当前进程有效，不支持持久机制；
2、malloc：使用内存分配函数malloc()库调用varnish启动时向内存申请指定大小的空间；
3、persisent：与file功能相同；仍处于测试期，基于文件的持久存储。
开始配置varnish并启动：
后端服务器：120.26.68.152端口为8080，为nginx
varnish服务器：120.26.68.152端口为7480
echo "<h1> test </h1>" > /usr/share/nginx/html/index.html
配置：vim /etc/varnish/test.vcl
设置响应是否命中
sub vcl_deliver { ##定义子例程
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT via" + " " + server.ip;
} else {
set resp.http.X-Cache = "MISS via" + " " + server.ip;
} ##判断如果命中就在http响应首部设置X-Cache为HIT，否则
就在http响应首部设置X-Cache为MISS。
}
如下结果：
Age:表示缓存的时长（这里设置一个小时），当超过这个时长之后，请求报文会再次miss，之后的1个小时才是hit
sub vcl_backend_response {
set beresp.ttl = 1h;
}
vcl_backend_response：子程序为后端响应给varnish
一些动态解析的程序文件都不能够缓存：
backend default { ----》先定义后端服务器
.host = "192.168.1.112";
.port = "80";
}
sub vcl_recv {
set req.backend_hint = default; ---》设置使用的backend为default
unset req.http.Cookie; -----》不设置客户端请求的cookie信息
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)$") { ----》匹配的是默认后端主机
return(pass); ----》请求的是默认后端主机，如果不先设置主机将会网页访问不存在
}
}
设置默认后端效果图：
如果不先设置默认主机，效果如下：
不正常的请求不缓存 -----》在vcl_rcv子程序中
if (req.method != "GET" &&
req.method != "HEAD" &&
req.method != "PUT" &&
req.method != "POST" &&
req.method != "TRACE" &&
req.method != "OPTIONS" &&
req.method != "PATCH" &&
req.method != "DELETE") {
return (pipe);
}
如果请求不是GET或者HEAD，不缓存
if (req.method != "GET" && req.method !="HEAD") {
return (pass);
}
如果请求包含Authorization授权或Cookie认证，不缓存
if (req.http.Authorization || req.http.Cookie) {
return (pass);
}
启用压缩，但排除一些流文件压缩
if (req.http.Accept-Encoding) {
unset req.http.Accept-Encoding;
} elseif (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip";
} elseif (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
} else {
unset req.http.Accept-Encoding;
}
}
return (hash);
}
定义vcl_pipe函数段
sub vcl_pipe {
return (pipe);
}
sub vcl_miss {
return (fetch);
}
定义vcl_hash函数段
sub vcl_hash {
hash_data(req.url);
if (req.http.host) { -----》如果请求host首部，利用has算法返回host首部信息
hash_data(req.http.host);
}else {
hash_data(server.ip);
}
if (req.http.Accept-Encoding ~ "gzip") {
hash_data ("gzip");
}elseif (req.http.Accept-Encoding ~ "deflate") {
hash_data ("deflate");
}
}
sub vcl_recv {
if (req.restarts ==0) {:刚接收到请求，或者再一次请求时，记录客户端首部及ip
if (req.http.x-forwad-for) {
set req.http.X-Forward-For = set req.http.X-Forward-For + " " client.ip;
} else {
set req.http.X-Forward-For = client.ip;
}
}
}
这里我已经改用虚拟机测试了
varnish：192.168.1.155
nginx：192.168.1.11
隐藏后端Server系统及版本
if (resp.http.Server) {
unset resp.http.Server;
}属于sub vcl_deliver子程序
可以看见响应报文没有Server段了
定义两个后端：
backend default {
.host = "192.168.1.11";
.port = "80";
}
backend java {
.host = "192.168.1.12";
.port = "80";
}
当匹配java时，选择java后端，其他默认选择默认端
sub vcl_recv {
if (req.url ~ "^/java/") {
set req.backend_hint = java;-----》hint暗示、示意
} else {
set req.backend_hint = default;
}
}
根据请求报文的主机来判断：
sub vcl_recv {
if (req.http.host ~ "foo.com") {
set req.backend_hint = foo;
} elsif (req.http.host ~ "bar.com") {
set req.backend_hint = bar;
}
}
sub vcl_recv {
if (req.http.host == "foo.com" || req.http.host == "www.foo.com") {
set req.backend_hint = foo;
}
}
定义后端组，并且采用round robin算法和后端服务器监控检测机制
import directors; # load the directors
backend web1 {
.host = "192.168.1.11";
.port = "80";
.probe = {
.url = "/";
.interval = 5s;
.window = 5;
.timeout = 1s;
.threshold = 3;
}
}
backend web2 {
.host = "192.168.1.12";
.port = "80";
.probe = {
.url = "/";
.interval = 5s;
.timeout = 1s;
.window = 5;
.threshold = 3;
}
}
sub vcl_init {
new nginx = directors.round_robin(); -----》nginx就是后端组的组名称，进行轮训
nginx.add_backend(web1);
nginx.add_backend(web2);
}
sub vcl_recv {
# send all traffic to the bar director:
set req.backend_hint = nginx.backend();
}
ACL控制列表
# Who is allowed to purge....
acl local {
"localhost";
"192.168.1.0"/24; /* and everyone on the local network */
! "192.168.1.13"; /* except for the dialin router */
}
sub vcl_recv {
if (req.method == "PURGE") {
if (client.ip ~ local) {
return(purge);
} else {
return(synth(403, "Access denied."));
}
}
}
不设置请求报文的cookie信息
sub vcl_recv {
unset req.http.Cookie;
}
不设置响应报文的cookie信息
sub vcl_backend_response {
if (bereq.url ~ "\.(png|gif|jpg)$") {
unset beresp.http.set-cookie;
set beresp.ttl = 1h;
}
}
更多信息参考：https://www.varnish-cache.org/docs/4.0
http://my.oschina.net/monkeyzhu/blog/482051
转载于:https://blog.51cto.com/huangsir007/1840713
扫一扫
535
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
