squid vary机制实现详解（附流程图）

http://blog.sina.com.cn/s/blog_68d83f050100m3x1.html

vary机制是http1.1 协议的新特性，使得server端可以根据用户请求返回给用户不同的内容，现在互联网中应用vary最广的一点就是对压缩的支持，例如当用户请求带着header “Accept-Encoding: gzip,deflate”,表明用户期望从server端拿到压缩的内容，这样server端会给用户一个包含压缩内容的文件，并带着vary头“vary: Accept-Encoding”头，和“Content-Encoding：gzip ”头，如果用户请求非压缩的内容，源站也就可以给用户非压缩的内容。

    squid对vary机制的支持是这样的，因为它要对用户请求的内容给出不同vary的内容，因此对于一个url在cache上需要存多份，就拿压缩、非压缩这两份来举例说明，它采用索引文件的形式，在索引文件中存着相应内容的vary文件索引，我们把索引的文件成为索引object，其它两个文件叫做vary Object，这样其实在cache中世纪存储的文件数是3个。存储是索引object的key值由url，method计算出来，其它两个索引的object的key由url，method，和vary头计算出来，所以是三个不同的索引文件。

     当用户请求头中带有"Accept-Encoding： gzip,deflate",并且源站给出了压缩内容，且header头中带有"vary: Accept-Encoding" 以及 “Content-Encoding:gzip”,这时候会计算要存储的object key值，计算因素为，url，method、vary头，vary头的内容为vary=Accept-Enconding，Accept-Enconding=gzip,deflate.创建完object后，把新的object key 插入到索引object中，如果索引object 不存在，则首次创建索引object，并将该vary 的object key值写入到索引object中。当索引object以及存在时，就要打开已经存在的索引object，并创建新的索引object，把就得索引object内容读出来，然后写入到新创建的索引object中，并将新的vary object key 加入到新创建的索引object 的后面，随之将索引object 删除。（注意，在这里有删除旧的索引object的操作，如果squid服务内容是小文件，在请求量比较大时，频繁的删除操作是十分耗费系统性能的，这也是为什么squid自身的vary机制存在性能问题的原因。），squid不适用旧的索引object来存储新的vary object 的key值的原因，个人以为是考虑到实现上的简单---尽量不对文件加锁。如果你读过、或修改过squid的源码，你就会发现，squid对所有的object，以及文件的操作之能是写一次，也就是第一次MISS的时候，如果文件内容要修改，他会毫不犹豫的删除掉老的文件，老的object，而不会修改原来的内容，update_headers功能就是这样，在vary机制实现的时候也是这一套。 squid 认为删除一个文件比对一个文件加写锁来说，后者更影响性能。

    上段说的事在用户请求MISS的情况下，vary机制的一个流程，在HIT的时候，squid 对用户请求解析后会首先读索引object文件，然后构建相应的索引header，这样就可以在处理请求的时候，把vary header加入计算 key值的因素中，即采用url 、method、vary header来计算，在处理请求时，在索引object文件中，找到想要的vary 文件的key 时，就根据新的key来找到相应的vary object， 从而得到的vary文件就是用户请求的vary文件，然后再处理这个请求。

    写的比较抽象，明天早上直接流程图。

 

流程图如下，如果仔细分析，相信会对squid vary 流程，包括对squid主流程的理解也能提升一个高度。

        squid vary MISS流程图

squid vary HIT 流程图

squid 对用户请求带if-modified-since,且squid 缓存不过期，并返回给用户304时的响应中会看到PENDING

今天遇到一个很奇怪的现象，以前没发现过。

    当用户请求头中带If-Modified-Since时，如果squid 已经对请求文件做了缓存，即用户请求的是Hit内容，squid 对请求进行处理，发现应该返回给用户304。就会返回PENDING from XXXXXXX的字样，而不是通常情况下的HIT from XXXXXXXXXX字样。

      对squid 处理304的流程代码进行了简单的分析，发现当squid 发现用户请求中If-Modified-Since中时间小于缓存中的expires值时，说明客户端缓存没有过期，要返回给用户304，于是，squid 就会创建一个新的storeEntry来专门处理这个请求，storeEtnry在创建时，会首先将store_status状态设置为STORE_PENDING，注意这个storeEntry 属于private的，也就是私有的，它不会被任何其他客户端请求使用。squid 创建自己的304响应header 返回给客户端，有因为私有的storeEtnry内容是不往磁盘写的，而squid只有在把文件写往磁盘结束后才会把storeEntry的store-status状态设置为STORE_OK，因为私有的storeEntry中的buf 内容不往磁盘写，所以他的store-status始终是STORE_PENDING，这样返回给客户看到的也就是PENDING ，而不是HIT。