Varnish 3.x 安装配置调优及理论知识

最新推荐文章于 2024-08-09 21:54:00 发布
最新推荐文章于 2024-08-09 21:54:00 发布
阅读量96 收藏
点赞数
文章标签： 后端 php 操作系统
原文链接：https://my.oschina.net/jean/blog/189869
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid，性能居然比以前更好。

Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算 机系统的内存除了主存外，还包括了cpu内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构。

具体安装方法

安装 CentOS 5.x 的Varnish RPM仓库

rpm --nosignature -i http://repo.varnish-cache.org/redhat/varnish-3.0/el5/noarch/varnish-release/varnish-release-3.0-1.el5.centos.noarch.rpm

安装 CentOS 6.x 的Varnish RPM仓库

rpm --nosignature -i http://repo.varnish-cache.org/redhat/varnish-3.0/el6/noarch/varnish-release/varnish-release-3.0-1.el6.noarch.rpm

然后执行安装完毕

yum install varnish

修改启动参数：

vim /etc/sysconfig/varnish

默认HTTP端口：6081

默认管理端口：6082

默认缓存模式为file：file,/var/lib/varnish/varnish_storage.bin,1G

共三种模式file, malloc, persistent

(1)file：使用特定的文件存储全部的缓存数据，并通过操作系统的mmap()系统调用将整个缓存文件映射至内存区域(如果条件允许)；

(2)malloc：使用malloc()库调用在varnish启动时向操作系统申请指定大小的内存空间以存储缓存对象；

(3)persistent(experimental)：与file的功能相同，但可以持久存储数据(即重启varnish数据时不会被清除)；仍处于测试期；

修改varnish配置文件

vim /etc/varnish/default.vcl

VCL配置

############定义健康状态检测###############
probe healthcheck {
.url = "/";			#定义健康检查的页面
.interval = 6s;		#探测请求的发送周期，默认为5秒；
.timeout = 1s;	#每次探测请求的过期时长
.window = 8;		#设定在判定后端主机健康状态时基于最近多少次的探测进行
.threshold = 3;		#在.window中指定的次数中，至少有多少次是成功的才判定后端主机正健康运行
.initial = 3;		#Varnish启动时对后端主机至少需要多少次的成功探测，默认同.threshold
}

############## app 服务器组及集群策略 ################
backend app01 {
.host = "192.168.0.5";
.port = "80";
.probe = healthcheck; #健康状态检测
}

backend app02 {
.host = "192.168.0.6";
.port = "80";
.probe = healthcheck; #健康状态检测
}


# 定义集群，调用服务器
director app random {	#定义一个名为webserver的directory，由app01,app02，使用random算法，处理静态请求
	{.backend = app01;.weight = 5;}	#设置权重为
	{.backend = app02;.weight = 5;}
}

############## img 服务器 ################

backend img {
.host = "192.168.0.1";
.port = "80";
}

#######################################

#purge的acl规则
acl purge {
	"localhost";
	"127.0.0.1";
}

#vcl_recv函数段
sub vcl_recv
{
	# varnish内部有一个grace模式。当后端不可用，或者已经向后端发过更新请求的情况下，别的客户再请求这个对象时，会收到已经过期的版本，当然过期的时间在可接受的范围内。
	# 在收到用户请求时指定可以接受过期对象的过期时间范围

	if (!req.backend.healthy) {
		set req.grace = 5m;
	} else {
		set req.grace = 15s;
	}

	#定义清除缓存IP，调用上面的Acl
	if (req.request == "PURGE") { #使用PURGE命令清除缓存
		if (!client.ip ~ purge) { #非ACl定义的IP，则不能清除缓存
			error 405 "Not allowed.";
		}
		return (lookup);
	}

	if (req.restarts == 0) {
		if (req.http.x-forwarded-for) {
			set req.http.X-Forwarded-For =
			req.http.X-Forwarded-For + ", " + client.ip;
		} else {
			set req.http.X-Forwarded-For = client.ip;
		}
	}

	# 不正常的访问不缓存
	if (req.request != "GET" &&
		req.request != "HEAD" &&
		req.request != "PUT" &&
		req.request != "POST" &&
		req.request != "TRACE" &&
		req.request != "OPTIONS" &&
		req.request != "DELETE") {
		/* Non-RFC2616 or CONNECT which is weird. */
		return (pipe);
	}

	# 对图片及压缩文件的 Accept-Encoding 统一化 提高命中率
	if (req.http.Accept-Encoding) {
		if (req.url ~ "\.(jpg|png|gif|gz|tgz|bz2|tbz|mp3|ogg)$") {
			# No point in compressing these
			unset req.http.Accept-Encoding;
		} elsif (req.http.Accept-Encoding ~ "gzip") {
			set req.http.Accept-Encoding = "gzip";
		} elsif (req.http.Accept-Encoding ~ "deflate") {
			set req.http.Accept-Encoding = "deflate";
		} else {
			# unknown algorithm
			unset req.http.Accept-Encoding;
		}
	}

	############# 自定义主机规则开始 ############

	if (req.url ~ "^http://") {
		set req.url = regsub(req.url, "http://[^/]*", "");
	}

	if (req.http.host ~ "^img.test.com")
	{
		# 删除COOKIE 提高命中
		# unset req.http.Cookie;

		set req.backend = img;
	}
	elseif (req.http.host ~ "^www.test.com")
	{
		set req.backend = app;
	}
	else
	{
		error 200 "Unknown virtual host";
	}

	# 扩展名为 php|cgi|asp|jsp|do|aspx 脚本的不缓存
	if (req.url ~ "\.(php|cgi|asp|jsp|do|aspx)($|\?)")
	{
		return (pass);
	}

	############# 自定义主机规则结束 ############

	# 不缓存GET或HEAD以外的请求
	if (req.request != "GET" && req.request != "HEAD") {
		return (pass);
	}

	# 不缓存验证信息和Cookie
	if (req.http.Authorization || req.http.Cookie) {
		return (pass);
	}

	# 所有缓存控制为 no-cache 的不缓存
	if (req.http.Cache-Control ~ "no-cache") {
		return (pass);
	}

	return (lookup);
}

sub vcl_hit
{
	if (req.request == "PURGE")
	{
		set obj.ttl = 0s;
		error 200 "Purged.";
	}

	return (deliver);
}

sub vcl_miss
{
	if (req.request == "PURGE")
	{
		error 404 "Not in cache.";
	}
}

sub vcl_fetch
{
	# 设定默认缓存时长
	set beresp.ttl = 300s; #超时时长为300秒 

	# 定义缓存时长
	if (req.url ~ "\.(css|js|html|htm|xsl|xml)$") {
		set beresp.ttl = 300s; #超时时长为300秒 
	}

	# 图片/视频/音频/文档/压缩文件 缓存时常
	if (req.url ~ "\.(png|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg)$") {
		set beresp.http.Pragma = "cache";
		set beresp.http.Cache-Control = "max-age=31536000, public";
		set beresp.ttl = 365d;
	}

	# 如果后端状态为 404 则缓存 600s
	if(beresp.status == 400 && beresp.status == 403 && beresp.status == 404) {
		set beresp.ttl = 600s;
	}

	# 如果后端服务器出现 500/501/502/503/504 错误时进入神圣模式 saintmode
	if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504) {
		set beresp.saintmode = 20s;
		return (restart);
	}

	# grace时长，减少高并发下的穿透和争抢，设置缓存对象过期后还可以保留的时间
	set beresp.grace = 5m;

	return (deliver);
}

# 交付页面
sub vcl_deliver
{
	if (obj.hits > 0)
	{
		set resp.http.X-Cache = "HIT";
	}
	else
	{
		set resp.http.X-Cache = "MISS";
	}
	#去掉 varnish 中的一些头信息(如果你不想保留的话,建议保留 Age,方便查看)
	unset resp.http.X-Varnish;
	unset resp.http.Via;
	return (deliver);
}

# 自定义错误页面信息
sub vcl_error {
	set obj.http.Content-Type = "text/html; charset=utf-8";
	synthetic {"
<?xml version="1.0" encoding="utf-8"?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html>
	<head>
		<title>"} + obj.status + " " + obj.response + {"</title>
	</head>
	<body>
		<p style='font-family:Tahoma; font-size:14px;'>
		<b>Status</b>: "} + obj.status + {"<br>
		<b>Info</b>: "} + obj.response + {"<br>
		<b>XID</b>: "} + req.xid + {"<br></p>
	</body>
</html>
	"};
	return (deliver);
}

启动服务

Usage: /etc/init.d/varnish {start|stop|status|restart|condrestart|try-restart|reload|force-reload}

service varnish start

中文资料：

更多配置可参考：http://my.oschina.net/jean/blog/189916

更多理论知识：http://my.oschina.net/jean/blog/189910

Varnish缓存策略及缓存时间计算方法说明：http://my.oschina.net/jean/blog/189908

Varnish3.0中文入门教程：http://anykoro.sinaapp.com/2012/01/31/varnish3-0中文入门教程

Varnish调优手记：http://my.oschina.net/u/572653/blog/178201

英文资料：

Varnish官方文档：

https://www.varnish-cache.org/docs/3.0/index.html

PHP的Varnish扩展，主要功能VarnishAdmin VarnishStat VarnishLog

http://www.php.net/manual/zh/book.varnish.php

用 Varnish 扩展 PHP 应用程序

http://www.ibm.com/developerworks/cn/opensource/os-php-varnish/

转载于:https://my.oschina.net/jean/blog/189869

weixin_34262482
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Flink入门 (二)--Flink程序的编写
zzy66666c的博客
08-09 503
其他案例demo可以参考我的GitHubhttps://github.com/NuistGeorgeYoung/flink_stream_test/ 编写一个Flink程序大致上可以分为以下几个步骤： 之后你可以设置以下配置- 按行读取文件并将其作为字符串返回。- 按行读取文件并将它们作为StringValues返回。StringValues是可变字符串。- 解析逗号（或其他字符）分隔字段的文件。返回元组或POJO的DataSet。支持基本java类型及其Value对应作为字段类型。- 解析新行（或
java关于前端传布尔值后端接收一直为false问题
Explore
08-06 220
Java的基本数据类型（如int, double等）不能直接序列化，因为它们没有实现Serializable接口。但是，你可以将它们封装在实现了Serializable接口的类中。：包装数据类型（如Integer, Double等）实现了Serializable接口，因此可以直接序列化和反序列化。结果后端接收到的值一直是false？
访问公网地址返回状态码499
weixin_38924998的博客
08-07 147
1。
Node中的CSRF攻击和防御
weixin_47121832的博客
08-08 450
Node中的CSRF攻击和防御
HTTP协议基础知识【后端 4】
delepaste的博客
08-09 937
HTTP（Hyper Text Transfer Protocol，超文本传输协议）是互联网上应用最为广泛的一种网络协议，它定义了客户端（如浏览器）与服务器之间数据传输的格式和规则。无论是浏览网页、在线购物还是使用各种Web应用，HTTP都扮演着至关重要的角色。本文将深入解析HTTP协议的基本原理、请求与响应的数据格式，以及如何通过浏览器的开发者工具查看这些信息。
服务器端常见响应码
路有瑶台的博客
08-07 282
1xx（信息性响应） 100 Continue：表示服务器已经接收到请求头，并且客户端应当继续发送请求的剩余部分，或者如果请求已经完成，则忽略这个响应。 101 Switching Protocols：表示服务器已经理解了客户端的请求，并将通过Upgrade消息头通知客户端采用不同的协议来完成这个请求。 2xx（成功响应） 200 OK：表示请求已成功，请求所希望的响应头或数据体将随此响应返回。 201 Created：表示请求成功并且服务器创建了新的资源。 202 Accepted：表示请求已经
后端在干其他的需求，又自习一天
weixin_63681863的博客
08-09 130
七夕，一进公司大门，就看见满墙的白玫瑰，好浪漫。上午摸鱼比较久，在想七夕谁陪我玩，玩什么。后来发现根本没人，是我想多了，还是老老实实做一条单身狗吧。公司发了七夕礼物，乒乓球、按摩锤，玫瑰花等。但是实习生没有。下午还有手工活动，实习生也没有，早知道我今天就不来了！！！！！！单身已经很狗了，公司还反向送温暖是吧。唉，没对象也希望今晚不要有人和我抢钢琴了！！！老子要弹琴。
centos7 启动python后端服务与停止服务的sh脚本
eagle89的专栏
08-07 258
centos7 启动python后端服务与停止服务的sh脚本
React Native Firebase：移动应用后端集成
天涯学馆
08-05 558
React Native Firebase 提供了与 Firebase 后端服务集成的全面解决方案。通过上述步骤，你可以轻松地在你的 React Native 应用中实现用户身份验证、数据存储、云存储和消息推送等功能。Firebase 的强大功能加上 React Native 的跨平台优势，使得开发功能丰富、高性能的移动应用变得更为简单和快捷。随着你对 Firebase 和 React Native Firebase 的深入理解，你将能够构建出更加复杂和定制化的移动应用。
【后端】消息中间件小册
weixin_44828537的博客
08-07 927
Kafka Broker 是 Kafka 集群的基本单元，负责处理消息的存储、转发和管理。通过多个 Broker 组成的集群，Kafka 能够实现高吞吐量、低延迟的数据传输和高可用性。唯一订单号通过提供一个唯一的标识符来识别每个订单，使得系统能够检测并避免重复处理同一个订单。结合去重机制和幂等性操作，能够有效地保证消息处理的幂等性，防止数据不一致和重复操作。Kafka 通过将消息按分区存储和保证分区内消息的顺序来维持消息的顺序性。生产者的分区策略确保具有相同分区键的消息按顺序存储，消费者按照顺序读取消息。
利用formdata自动序列化和xhr上传表单到后端
最新发布
cdcdhj的博客
08-09 123
/FormData对象是XMLHTTPRequest level2新增的类型，它可以自动序列化表单内容，不再需要我们去写序列化表单方法；FormData()即可以直接把整个表单给它，也可以分别使用append(‘字段’,‘值’)方法给FormData()；现在就结合xhr写一个简单示例，怎么把表单传递给后端。
WPF篇（9）-CheckBox复选框+RadioButton单选框+RepeatButton重复按钮
一个人的江湖
08-06 989
CheckBox继承于ToggleButton，而ToggleButton继承于ButtonBase基类。
LVS--DR模式
weixin_68398469的博客
08-07 713
IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链。3、数据包转发至后端服务器：负载均衡器不会更改IP报文的内容，而是将数据包的目的MAC地址更改为所选后端服务器的MAC地址，然后将数据包发送到后端服务器所在的网络。配置在本地主机的接收到请求报文的接口上时，才给予响应。必须避免将接口信息向非本网络进行通告。
Vue前端服务加密后端服务解密--AES算法实现
m0_37978198的博客
08-08 305
本文介绍了使用 AES ECB 模式实现vue前端加密和后端解密的基本流程，并给出了关键代码，小伙伴们修改秘钥即可使用。
Django内置后端和自定义后端
brucexia的专栏
08-06 1173
在Django框架中，还设置了一种自定义后端。一个自定义后端是一个继承自django.template. backends.base.BaseEngine的类，必须实现get_template()函数方法和可选的from_string()函数方法。下面，请看一个自定义的foobar模板库的示例。【代码5-9】04060809 # 包含该模板引擎的模板的子目录名称10 # 在已安装的应用程序内12171921 try:2527 try:333538。
魔众文库系统v7.0.0版本推荐店铺功能，管理菜单逻辑优化
qq_26450889的博客
08-08 292
新功能] RandomImageProvider 逻辑升级重构，支持更丰富的随机图片生成。[新功能] 首页推荐店铺功能，需要在后台 文库系统 → 文库店铺 开启推荐。[Bug修复] 后台用户管理开启手机邮箱时，空字段唯一索引冲突问题。[系统优化] Grid 快捷编辑请求失败，页面自动刷新回复原状态。[系统优化] 后台文库增强、文库专题配置功能合并。[Bug修复] 多语言 LM 方法参数不生效问题。[系统优化] 魔众文档转换后端菜单结构优化。[新功能] 资源篮订单参数字段。
后端调优——分布式锁选型——入门
Blackoutdragon的博客
08-09 725
这里再说分布式锁的选型的时候，就可以大概从性能和可靠性的角度介绍一下，然后在选择redis，因为我的项目确实对于性能的要求更高，对于可靠性的要求并不高，而且占据任务这个唯一需要分布式锁控制访问的接口，访问时间也很快，不会出现执行时间过长，分布式锁过期的情况。 两个角度 业务本身：执行时间很短、对于安全性和可靠性的要求并不高（任务本身是幂等的），对于性能要求的高， 分布式锁的特性：redis是上述四种锁中性能最高的，而且比较熟悉
Web前端开发具有哪些特点？
weixin_54503231的博客
08-07 242
Web前端开发是基于浏览器的技术，能够在不同的操作系统和设备上运行，实现跨平台的兼容性。前端技术可以通过JavaScript等技术实现丰富的交互效果，如响应用户的点击、表单验证、页面动画等，这些交互特性增强了用户对网页的体验。前端开发可以实现响应式网站，这种网站可以根据不同的终端设备进行内容的布局调整，无需为不同设备开发不同版本的网站，从而降低了开发成本。随着前后端分离的开发模式逐渐成为趋势，前端开发需要更加独立地完成用户界面和交互的开发，但同时也需要与后端开发人员紧密配合，确保数据的正确传输和显示。
Java Server-Sent Event 服务端发送事件
zhou_Tian的博客
08-09 312
实现后端单方面向前端发消息。
Varnish 2.1.2安装配置详解
"这份文档详细介绍了Varnish 2.1.2的安装、配置和使用方法，包括安装过程、配置示例、日志管理、缓存清除以及各种高级配置技巧，旨在帮助用户提升Web服务器的性能和效率。" Varnish是一个高性能的HTTP缓存加速器，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值