第一百二十一天 : varnish

最新推荐文章于 2021-08-24 10:39:34 发布
最新推荐文章于 2021-08-24 10:39:34 发布
阅读量240 收藏
点赞数
分类专栏： 运维基础学习笔记 文章标签： 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nextkara/article/details/72862718
版权

Varnish

缓存基本知识

程序的运行具有局部性特征
  • 时间局部性 : 访问过的数据, 在很短的时间内能被再次访问
  • 空间局部性 : 数据被访问到, 数据周边的其他数据也有可能被访问到

衡量缓存有效与否, 取决于缓存的命中率
缓存 : 解决传输速度不对等的问题, 将访问过的数据, 放置在更加高速的设备上进行访问.

热区数据 : 局部性的一个表现
  • 时效性 : 缓存过期(原数据更新)—] 缓存清理

缓存命中率 : hit/(hit + miss) 0-100%
- 页面命中率 : 基于页面数量进行衡量
- 字节命中率 : 基于页面体积进行衡量

缓存与否 :
  • 私有数据 : private, private cache
  • 公共数据 : public, public or private cache
HTTP报文中与Cache相关的参数 :
响应报文内容 :
  • no-store : 缓存内容不能保存到本地
  • no-cache : 请求最新内容, 不请求缓存内容
  • max-age : 缓存有效的最大时长
请求报文内容 :
  • public : 允许所有内容被缓存

Varnish 组织架构

  • Manager 进程
  • Cacher 进程 : 包含多种类型的线程
    • accept, worker, expiry…
  • share memory log :
    • 统计数据 : 计数器
    • 日志区域 : 日志记录
  • 配置接口 : VCL
    • Varnish Configuration Language
      vcl complier --] c complier --] shared object
  • jamallog : 为了实现高效缓存的系统调用

Varnish 的程序环境 :

  • /etc/varnish/varnish.params : 配置varnish 服务进程的工作特性, 监听地址和端口 缓存机制…
  • /etc/varnish/default/.vcl : 配置各Child/Cache线程的工作属性:
  • 主程序 : /usr/sbin/varnishd
  • CLI Interface : /usr/bin/varnishadm
  • Shared Memory Log 交互工具
    • /usr/bin/varnishhist : 查看日志区域的历史数据
    • /usr/bin/varnishlog : 对日志进行获取和管理
    • /usr/bin/varnishncsa : 对NCSA 格式的日志进行获取和管理
    • /usr/bin/varnishstat : 对程序统计的数据进行分析
    • /usr/bin/varnishtop : 对数据进行排序
  • 测试工具程序 : /usr/bin/varnishtest
  • VCL 配置文件重载程序 : /usr/sbin/varnish_reload_vcl
  • Systemd Unit File :
    • /usr/lib/systemd/system/varnish.service : 主服务
    • /usr/lib/systemd/system/varnishlog.service : 日志记录服务
    • /usr/lib/systemd/system/varnishncsa.service : NCSA格式的日志服务

Varnish 的缓存存储机制 :

  1. malloc [size] : 定义可用空间的上限, 重启后所有缓存项失效
  2. file [path,[size,[granularity]]] : 文件存储, 黑盒, 重启后所有缓存项失效
  3. persistent ,path,size 试验阶段 .

Varnish 配置 :

选项 : 配置选项放置在/etc/varnish/varnish.params, 是Unit File 的EnvironmentFile
默认监听在6081端口上, 避免和当前所代理的服务冲突.

-a address[:port][,adress[:port]][...] 指明监听的地址和端口
-b host[:port] 指明后端的主机和端口
-C 测试, 输出C语言代码并且退出
-p param=value 设定参数的值[可指定多次]
-r param[,param ...] 设定指定参数为不可修改
-u user 指定运行的用户
-s [name=]type[,options] 定义缓存存储机制
-F : 运行于前台
-f config_file : 指定配置文件
-T [address[:port]] 指定管理地址和接口, 管理端的监听的地址和端口为127.0.0.1:6082

密钥文件安装后自动生成
重载VCL配置文件 : varnish_vcl_reload

使用varnishadm 配置varnish运行时参数

varnishadm -S /etc/varnish/secret -T :6082

help [[command]] : 获取帮助
ping [[timestamp]] : 查看缓存服务器的状态
auth [response] : 认证
quit : 退出CLI模式
banner : 显示
status : 显示Child进程的状态
start : 运行varnish
stop : 停止varnish
vcl.load [configname] [filename] : 载入新的VCL文件
vcl.inline [configname] [quoted_VCLstring] : 载入新的VCL文件并附加参数
vcl.use [configname] : 使用配置项(已加载的VCL)
vcl.discard [configname] : 删除VCL
vcl.list : 显示加载VCL的历史
param.show [-l] [[param]] : 显示所有的参数
param.set [param] [value] : 设置特定的参数
panic.show : 显示错误的子进程
panic.clear : 清除错误的子进程
storage.list : 列出存储设备
vcl.show [-v] [configname] : 显示具体VCL文件中的内容
backend.list [[backend_expression]] : 显示后端主机列表
backend.set_health [backend_expression] [state] : 设定后端主机的健康状态
ban [field] [operator] [arg] [&& [field] [oper] [arg]]... : 清理缓存
ban.list : 定义如何手动清理缓存
修改特定的配置项 :

varnish> param.set Param_Name Value
- 示例
param.set thread_pool_max 1000

VCL (varnish configuration language)

state engine : 状态引擎切换
- request : vcl_recv
- response : vcl_deliver

  1. vcl_hash -(hit)-> vcl_hit –> vcl_deliver
  2. vcl_hast -(miss)-> vcl_miss –> vcl_backend_fecth –> vcl_backend_response –> vcl_deliver
  3. vcl_hash -(purge)-> vcl_purge –> vcl_synth
  4. vcl_hash -(pipe)-> vcl_pipe

两个特殊引擎 :
- vcl_init : 在处理任何请求之前要执行的vcl代码：主要用于初始化VMODs；
- vcl_fini : 所有的请求都已经结束，在vcl配置被丢弃时调用；主要用于清理VMODs；

vcl 的语法格式 :
  1. vcl version 说明vcl的版本
  2. //, #, /* */ 作为注释
  3. 子例程使用sub vcl_hit { } 进行声明
  4. 没有循环, 内建变量的使用首先于引擎
  5. 结束一个状态引擎使用一个keyword来结束, 使用return来决定如何结束状态引擎 return(vcl_miss)
  6. 一个状态引擎上的配置只对一个状态引擎起作用
VCL状态引擎
  • 每一个请求都是被独立处理的
  • 每一个请求与其他请求隔离
  • 各个状态引擎相互隔离
  • return(action) 指示退出一个状态进入下一个状态
  • 内建VCL码, 一直生效并且附加在自定义的代码后面
三类主要语法
sub subroutine {
    ...
}
if CONDITION {
    ...
} else {
    ...
}
内建的函数和关键词
函数
  • regsub(str, regex, sub) : 基于正则表达式进行查找, 查找到的第一个值进行替换
  • regsuball(str, regex, sub) : 基于正则表达式进行查找, 查找到的所有值进行替换
  • ban(boolean expression) : 基于判断条件对缓存空间进行缓存清理
  • hash_data(input) : 对指定的数据进行hash计算
  • synthetic(str) : 用于响应报文中的页面错误信息, 可用于客户端请求的重定向
关键字
  • call subroutine : 调用一个子例程(sub XXXX)
  • return(action) : 指明下一次的动作
  • new :
  • set : 设定一个变量的值
  • unset : 取消一个变量的值
操作符

==, !=, ~, >, >=, <, <=

示例:

if (obj.hits>0){
    set resp.http.X-Cache = "HIT via" + server.ip;
} else {
    set resp.http.X-Cache = "MISS via" + server.ip;'
}
报文处理流程和对应处理函数的变量
处理函数能使用的变量
vcl_hash{ }req.*
vcl_pipe{ }req.*
bereq.*
vcl_hit{ }req.*
obj.*
vcl_miss{ }req.*
vcl_purge{ }req.*
vcl_pass{ }req.*
vcl_deliver { }req.*
resp.*
vcl.synth{ }req.*
resq.*

常用变量：

bereq.*, req.*：
    bereq.http.HEADERS
    bereq.request：请求方法；
    bereq.url：请求的url；
    bereq.proto：请求的协议版本；
    bereq.backend：指明要调用的后端主机；
    req.http.Cookie：客户端的请求报文中Cookie首部的值； 
    req.http.User-Agent ~ "chrome"
beresp.*, resp.*：
    beresp.http.HEADERS
    beresp.status：响应的状态码；
    reresp.proto：协议版本；
    beresp.backend.name：BE主机的主机名；
    beresp.ttl：BE主机响应的内容的余下的可缓存时长；
obj.*
    obj.hits：此对象从缓存中命中的次数；
    obj.ttl：对象的ttl值
server.*
    server.ip
    server.hostname
client.*
    client.ip
  • bereq.* varnish服务器向后端传递的请求
  • server.* 与varnish服务器相关的变量
  • client.* 与client端相关的变量

示例 : 强制对某类资源的请求不检查缓存

vcl_recv {
    if(req.url ~ "(?i)^/(login|admin)") {
        return(pass);
    }
}

vcl_purge { } 用于清理单个URL对应的资源
vcl_ban { }清理给定表达式所匹配到的内容

定义后端主机的负载均衡

后端主机的负载均衡在于取得缓存时的负载均衡, 缓存服务器取得缓存后不再向后端主机请求内容
首先定义多个后端主机

backend server1 {
    ...
}
backend server2 {
    ...
}

之后在vcl中导入模块

sub vcl_init {
    new GROUP_NAME = directors.round_robin(); 
    GROUP_NAME.add_backend(server1);
    GROUP_NAME.add_backend(server2);
}
# 在对接收到的报文分发到组GROUP_NAME 中所定义的主机
sub vcl_recv {
    set req.backend_hint = GROUP_NAME.backend();
}
健康状态检测
backend BE_NAME {
    .host =  
    .port = 
    .probe = {
        .url= 
        .timeout= 
        .interval= 
        .window=
        .threshhold=
    }
}

.probe：定义健康状态检测方法；
.url：检测时请求的URL，默认为”/”;
.request：发出的具体请求；
.request =
“GET /.healthtest.html HTTP/1.1”
“Host: www.magedu.com”
“Connection: close”
.window：基于最近的多少次检查来判断其健康状态；
.threshhold：最近.window中定义的这么次检查中至有.threshhold定义的次数是成功的；
.interval：检测频度； 后面要加上s的单位
.timeout：超时时长； 后面要加上s的单位
.expected_response：期望的响应码，默认为200；

检测方式单独配置的话, 将.probe 中的内容放到backend 外面, 单独定义成一个名称, 例如check.

probe check {
        .url= /healthcheck.html;
        .timeout= 1s;
        .interval= 2s;
        .window= 5;
        .threshhold= 4;
}
# 引用
backend Server1 {
    .host = 192.168.4.101;
    .port = 80;
    .probe = check;
}

这样就能启用对后端主机的健康状态检测了

线程相关的参数：

在线程池内部，其每一个请求由一个线程来处理； 其worker线程的最大数决定了varnish的并发响应能力；
- thread_pools：进程池,最好小于或等于CPU核心数量；
- thread_pool_max：每个线程池中的最大线程数量
- thread_pool_min：. 额外意义为“最大空闲线程数”；
- 最大并发连接数=thread_pools * thread_pool_max
- thread_pool_timeout：清理空闲进程
- thread_pool_add_delay：清理等待时间
- thread_pool_destroy_delay：销毁进程等待时间

主机名修改了之后会导致varnish服务启动错误, 需要手动修改/var/lib/varnish/目录下的目录为当前主机名/

nextkara
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
varnish 示例详解
weixin_44983653的博客
10-11 340
1、缓存命中次数示例 obj.hits 是内建变量，用于保存某缓存项的从缓存中命中的次数。 基本语法如下： sub vcl_deliver { if (obj.hits>0) { set resp.http.X-Cache = "HIT via " + server.ip; } else { set resp.h...
第一百一十四天 : MySQL进阶管理
nextkara 的 Blog
06-05 524
MySQL内部数据集在磁盘上, 某一次读取操作, 消耗的代价是巨大的. 所以要使用索引连接管理器 线程管理器 用户管理器 : 用户的访问还受访问控制器的限制 约束主键约束 : 唯一非空,一张表只能有一个 外键约束 : 参考性约束, 引用性约束 唯一键约束 : 唯一, 可存在多个 检查性约束 : 对值进行检查MySQL事务事务 : 一组原子性的SQL查询, 或者多个SQL 语句组成了一个独立的工
Varnish测试
qq_32421489的博客
08-24 299
修改varnish监听端口： vim /etc/varnish/varnish.params 一.Varnish概述 1.Varnish 简介 Varnish是一款高性能且开源的反向代理服务器和HTTP加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合。与传统的squid相比，Varnish具有高性能、速度快、管理更加方便等优点，目前很多大型的网站都开始尝试使用Varnish来代替squid，这便是Varnish迅速发展的最根本的原因。 Varnish的主要特征： （1）缓存代理位置
varnish代理服务器_如何使用Varnish提升服务器性能
culi4814的博客
09-03 323
varnish代理服务器Varnish Cache is an HTTP accelerator and reverse proxy developed by Danish consultant and FreeBSD core developer Poul-Henning Kamp, along with other developers at Norwegian Linpro AS. It w...
Varnish部署
weixin_33763244的博客
11-13 70
上缓存服务器的目的： 1、减少clint对后端服务器的访问压力。 2、在静态资源较多的情况下，服务端可以快速对clint的访问做出相应。 缓存服务器目前比较有名气，市面上缓存代理服务器使用比较多的Varnish/squid。 squid的主要是缓存大文件。 Varnish主要缓存静态资源,如图片。 Varnish版本的区别： 新版本Varn...
varnish-cache：Varnish Cache源代码存储库
02-03
1. **VCL（Varnish Configuration Language）**：Varnish Cache使用一种简单的声明式配置语言VCL，允许用户自定义缓存策略。VCL通过定义规则来决定如何处理HTTP请求和响应，例如根据URL、HTTP头信息等条件来决定是否...
varnish_rest_api:Varnish 的 RESTful API
06-03
它被设计为在 varnish 节点上运行，因为它在 varnish 节点本身上执行 varnishadm。 它可以作为使用 Thin 的独立服务器启动，也可以作为机架感知应用程序启动。 特征 REST 调用输出 JSON （可选）使用zookeeper注册...
libvmod-querystring:Varnish缓存的查询字符串模块
05-26
可以删除查询字符串，对其进行清理，对其参数进行排序或对其进行过滤以仅保留其中的一部分。 使用Varnish可以大大提高您的命中率和效率，因为默认情况下，两个路径相同但查询字符串不同的URL也不同。 这是RFC的...
hitch:Varnish Software的可扩展TLS代理
04-12
Hitch是一个高效且可扩展的TLS（Transport Layer Security）代理，由Varnish Software开发。它主要用于处理大量的SSL/TLS连接，将加密的网络通信转化为未加密的数据流，然后转发到内部的服务器或应用，这个过程称为...
laravel-varnish：让Varnish和Laravel一起玩
02-02
让Varnish和Laravel一起玩耍 该软件包提供了一种在Laravel中使用Varnish 4（或5）的简便方法。 它提供了一个路由中间件，该路由中间件在应用于路由时将确保Varnish无论如何都将缓存响应。 该软件包还包含一个从应用...
第一百一十天 : ansible-playbook 使用详解
热门推荐
nextkara 的 Blog
06-05 1万+
PlayBook：核心元素：Tasks：任务，由模块定义的操作的列表； Variables：变量 Templates：模板，即使用了模板语法的文本文件； Handlers：由特定条件触发的Tasks； Roles：角色； playbook的基础组件：Hosts：运行指定任务的目标主机； remote_user：在远程主机以哪个用户身份执行； sudo_user：非管理员需要拥有sudo
第一百三十四天 : Puppet 的使用与进阶
nextkara 的 Blog
06-04 495
PuppetIT 基础设施的自动管理工具, 重量级, 需要自己编写许多模块运维框架 : 基础 : 运维标准, 有了标准才能最大程度减小由于差异带来的麻烦, 统一硬件, 统一操作系统, 统一同应用的配置 监控 : 对于出现的应急情况进行预警和业务切换 部署 : 对于新上线的主机的快速配置provsioning(供应) : 通过puppet 安装软件 configuration(配置) : 通
第一百一十一天 : PXE快速部署CentOS系统
nextkara 的 Blog
06-05 486
PXE 自动化部署BootStrapping : (OS Install)tftp server : INSTALL : yum install tftp-server tftp Start : 7 : systemctl start tftp 6 : chkconfig tftp on : service xinetd restart 默认的文件根目录 : /var/lib/tftpboot
第一百零六天 : ansible 入门与进阶
nextkara 的 Blog
06-06 426
ansible 入门与进阶 Configuration、Command and Control是什么 ？ SSH-based configuration management, deployment, and task execution system运维工具的分类： agent：基于专用的agent程序完成管理功能，puppet, func, zabbix, ...agentless：基于s
Linux下磁盘管理
nextkara 的 Blog
11-23 278
Linux下磁盘管理首先，对于磁盘，磁盘在出厂的时候，厂商对磁盘进行了低级格式化，进行了磁道的划分，磁盘基本结构是柱面，一般的民用磁盘都是单碟片，磁盘在无尘真空环境下运行。 磁盘作为存储大部分数据的主要存储结构，在安装完系统之后会有磁盘引导记录写入磁盘的启动区，也就是MBR（main boot record )，MBR总共512个字节（bytes），功能为存储引导记录，其中446bytes用于
Nginx 读书摘抄
nextkara 的 Blog
06-04 270
查看端口和进程的命令：lsof -i :port netstat -lntupNginx 疑难杂症排除：报错提示： 1. 用户不存在报错 nginx: [emerg] getpwnam(“nginx”) failed. 原因：没有对应的Nginx服务用户，如果是定义的其他用户，用户不存在都会报此错误。 解决方案：创建对应用户即可 编译安装pcre，gcc不全导致报错 解决：安装gcc-c
第七十九天 : httpd 基础入门
nextkara 的 Blog
06-06 265
HTTP 互联网性能提升: 提升硬件和软件 通过协议的支撑来进行交流 资源子网 : 解决双方如何进行数据交换, 对数据格式进行描述, 交换方式的描述 通信子网 : 数据的通用传输模式 Serve : listen Client : 随时开启随机端口对Serve进行访问 传输层只能表示进程地址(端口) —> 源主机地址到目标主机地址(TCP/IP
Varnish权威指南：安装与高级配置解析
1. 后端服务器：Varnish可以连接到一个或多个后端服务器，从这些服务器获取内容并缓存以供快速服务。 2. 启动Varnish：通过命令行启动Varnish服务，可以配置监听端口、默认后端服务器等参数。 3. 记录数据：Varnish...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值