squid
文章平均质量分 91
拉里山姆
这个作者很懒,什么都没留下…
展开
-
squid Cache Digest
Martin Hamilton JANET Web Cache Service Alex Rousskov转载 2012-04-28 15:53:25 · 1398 阅读 · 0 评论 -
squid digest storage 之Bloom Filter概念和原理
Bloom Filter概念和原理焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的:在判断一个元素是否属于某个集合时,有可能会把不属于这个集合的元素误认为属于这个集合(false positive)。因此,Bloom Filter转载 2012-04-28 15:12:16 · 689 阅读 · 0 评论 -
squid框架模型图
squid运行时主要干两件事情:eventRun和comm_select,是基于事件驱动的模型。原创 2012-04-26 14:51:43 · 1176 阅读 · 0 评论 -
Understanding the HTTP Vary Header and Caching Proxies (Squid, etc.)
I never paid much attention to the HTTP Vary header. In fact, I've been fortunate enough to avoid it for this long and never really had to care much about it. Well, it turns out when you're config转载 2012-04-25 16:26:20 · 1233 阅读 · 1 评论 -
squid源码分析1—Cache_mem老化
http://blog.chinaunix.net/uid-10249062-id-163266.htmlCache_mem老化指的是当存储在内存中的storeEntry占用内存达到cache_mem设置值的时候,将老化内存中的一些storeEntry以用于存储新的storeEntry。这里的storeEntry占用内存指的是通过memAllocate(MEM_MEM_NODE转载 2012-03-15 16:32:58 · 1048 阅读 · 0 评论 -
关于squid请求源服务器的响应中带Vary头
http://rdc.taobao.com/blog/cs/?p=14901. 源服务器返回的响应头不带”Vary: Accept-Encoding”不管客户端请求头中带不带”Accept-Encoding: gzip,deflate”,squid会只缓存一份对象1)如果第一个MISS的请求,客户端请求头中带”Accept-Encoding: gzip,deflate”。源转载 2012-03-15 16:31:32 · 1096 阅读 · 0 评论 -
反向代理原理
局域网主机联入互联网的一种方式,使用代理上网可以节约紧缺的IP地址资源,而且可以阻断外部主机对内部主机的访问,使内部网主机免受外部网主机的攻击。但是,如果想让互联网上的主机访问内部网的主机资源(例如:Web站点),又想使内部网主机免受外部网主机攻击,一般的代理服务是不能实现的,需要使用反向代理来实现。 本文将详细介绍反向代理服务的概念以及如何利用反向代理服务器提高WEB服务器的性能和安全转载 2012-03-15 16:18:46 · 2560 阅读 · 1 评论 -
HTTP代理和缓存利器大比拼,您知晓多少?
http://bbs.chinaunix.net/thread-3682714-1-1.htmlApache Traffic Server(ATS或TS)是一个高性能的、模块化的兼容 HTTP/1.1 的反向代理服务器,与Squid、Vanish、nginx、HAProxy类似,在这个高性能高可用需求紧迫的互联网流量暴涨的时代,代理和缓存作为两个重要的技术,在提高web server的并发转载 2012-03-15 13:50:28 · 1611 阅读 · 0 评论 -
squid源码分析4—coss存储机制分析
http://blog.chinaunix.net/uid-10249062-id-163271.html1. Coss 文件系统概述1.1 概述循环目标存储机制(Cyclic Object Storage Scheme,coss)尝试为squid定制一个新的文件系统。在ufs基础的机制下,主要的性能瓶颈来自频繁的open()和unlink()系统调用。因为每个ca转载 2012-03-15 14:49:51 · 1244 阅读 · 0 评论 -
Squid性能杀手——fwdFail分析
http://blog.sina.com.cn/s/blog_697d8c4b0100l4zj.html Squid在使用aufs做文件系统的时候,对文件系统的读是异步的,而写却是同步的。这样一来,如果存在大量的写操作,将对squid的性能造成严重的影响。 通常来说,可cache的内容都是“一次写入,反复读取”,而不可cache的内容都不会写入磁盘。那么什么转载 2012-05-30 16:44:46 · 1045 阅读 · 0 评论 -
web cache及squid框架介绍
web cache及squid框架介绍 学习和从事web cache相关了东东已经有大半年的时间了,回想下这段时间,还是有很多东西可以分享的! Cache,中文意思是缓存,是用来将频繁访问的数据,存储于用户本地或者是访问速度很快的存储介质上,以便于提高访问速度及响应时间,我们的电脑的CPU中也有使用缓存,不过我今天这里说的是WEB方面原创 2012-12-05 09:54:00 · 2173 阅读 · 0 评论 -
squid内部结构及实现剖析
http://blog.sina.com.cn/s/blog_68d83f050100m5qt.html 前几天要做一个较大的项目,这要建立在对squid 结构充分调研及熟悉的基础上,于是便对squid 代码重新梳理了一遍,整理了一下squid的整个结构图。废话少说,就先上图啦。 squid内部结构与实现详细剖析 针对上图做一个简要的说明,转载 2013-04-02 11:09:40 · 1856 阅读 · 1 评论 -
squid TCP_HIT/504/000是怎么产生的
今天调查一下问题,发现某个请求的访问有很多TCP_HIT/504, 504的意思我们都很清楚,是连接超时,但TCP_HIT/504 是什么意思呢?相信这让很多人都很迷惑,仔细调查才发现,原来是这样的:以 url http://www.sina.com.cn 为例,第一个请求一定是TCP_MISS的,然后这个请求就回源与www.sina.com.cn域名对应的ip 想连接,这个请求连接建转载 2013-04-02 11:25:16 · 2095 阅读 · 0 评论 -
squid vary机制实现详解(附流程图)
http://blog.sina.com.cn/s/blog_68d83f050100m3x1.htmlvary机制是http1.1 协议的新特性,使得server端可以根据用户请求返回给用户不同的内容,现在互联网中应用vary最广的一点就是对压缩的支持,例如当用户请求带着header “Accept-Encoding: gzip,deflate”,表明用户期望从server端拿到压缩转载 2013-04-02 10:55:50 · 1237 阅读 · 0 评论 -
Squid refresh_pattern详解
http://blog.chinaunix.net/uid-8474831-id-3480633.html全球中文首发,史上最全面Squid refresh_pattern详解 小斯教你玩squid第三弹。前两弹都是代码相关的,是别人没写过的。今天要说的话题是refresh_pattern,是网上有很多人写过了的。比如这个(当前时间定义为转载 2013-02-17 16:51:27 · 687 阅读 · 0 评论 -
squid是否支持http1.1和对KeepAlive支持的个人理解
http://www.php-oa.com/2008/11/06/squid-keepalive.htmlSquid 是否支持 http/1.1研究Squid蛮久了,感觉Squid是不是能实现部分http/1.1的功能一直有疑问,根据日志中见到,当你的请求经过Squid后,然后转到Web服务器时.你会发现Squid中的日志是显示使用的协议为http/1.1,但是Web服务器转载 2013-02-17 17:34:18 · 747 阅读 · 0 评论 -
怎样让squid follow 302的响应
http://blog.chinaunix.net/uid-8474831-id-3463461.html大家都知道,http的302响应,是一种跳转。比如用户访问url:http://www.sina.com/ 时,点击(此处)折叠或打开GET / HTTP/1.1User-Agent: curl/7.15.5 (x86_64-redhat-lin转载 2013-02-17 16:53:31 · 1096 阅读 · 0 评论 -
Squid日志中为何会有HIT,并且DIRECT的记录?
http://blog.chinaunix.net/uid-8474831-id-3467954.html前几天,@ARGV问了这个问题《squid 灵异日志》http://chenlinux.com/2010/03/17/problem-of-squid-access-log/ 灵异乎?一般灵异吧。只要我们走近科学,没有什么不能被解释的。 首先说一下HIT/MISS/转载 2013-02-17 16:52:43 · 1768 阅读 · 0 评论 -
Squid的长连接,短连接,半连接
http://blog.chinaunix.net/uid-8474831-id-3487965.html小斯教你玩squid第4弹,应该是2013年春节前无心干活期间写下的龙年最后一篇博客。1. 长连接,短连接先说说长/短连接的问题,所谓长连接,就是指在一个tcp连接上服务多个http请求。这样做的好处是,可以避免频繁的tcp建连/断开的开销,提高响应速度,提高服务器转载 2013-02-17 16:49:04 · 2124 阅读 · 0 评论 -
squid压力测试工具Web Polygraph
http://www.web-polygraph.org// this is just one of the simplest workloads that can produce hits// never use this workload for benchmarkingContent value1= { kind = "HTTP_value1"; //原创 2012-03-20 15:11:15 · 3005 阅读 · 1 评论 -
Apache Traffic Server 简介
http://blog.sina.com.cn/s/blog_502c8cc40100mw7n.html 作者:王柯龙一 介绍Apache Traffic Server(ATS或TS)是一个高性能的、模块化的 HTTP 代理和缓存服务器。Traffic Server 最初是 Inktomi 公司的商业产品,该公司在 20转载 2012-03-15 13:52:40 · 2616 阅读 · 1 评论 -
squid cache manager(cachemgr.cgi)配置及使用
http://hi.baidu.com/hehjm/blog/item/7a9907df2315ec0d622798a9.html squid cache manager(cachemgr.cgi)配置及使用 实验环境:1台服务器上面即跑squid又跑apache例如:squid 服务IP 122.11.22.200 端口80apache 服务IP 122.11.22.转载 2012-03-14 22:37:55 · 945 阅读 · 0 评论 -
squid配置项-range_offset_limit
range_offset_limit 这个配置主要跟Range头部相关,对cache的影响是在缓存和回源这一块。 我先大概说说这个配置的意思 ####################################################### range 头部的格式一般是:Range: bytes=A-B 。 A,B分别代表数值,一转载 2012-02-28 16:39:35 · 2023 阅读 · 0 评论 -
aufs 存储机制
aufs存储机制已经发展到超出了改进squid磁盘I/O响应时间的最初尝试。"a"代表着异步I/O。默认的ufs和aufs之间的唯一区别,在于I/O是否被squid主进程执行。数据格式都是一样的,所以你能在两者之间轻松选择,而不用丢失任何cache数据。 aufs使用大量线程进行磁盘I/O操作。每次squid需要读写,打开关闭,或删除cache文件时,I/O请求被分派到这些线程之一。当线程转载 2012-02-10 14:09:41 · 10764 阅读 · 0 评论 -
Squid学习笔记
1、安装前的配置编译安装之前需要校正的参数主要包括File Descriptor和Mbuf Clusters。1、File Descriptor查看文件描述符的限制数目:ulimit –n调整文件描述符的数目需要3步:step 1,编辑系统头文件/usr/include/bits/types.hdefine __FD_SIZIEFD 8192step 2,调整内转载 2012-01-20 10:59:44 · 1140 阅读 · 0 评论 -
refresh_pattern源码分析
refresh_pattern配置用法回顾:refresh_pattern [-i] regexp min percent max [options] options: override-expire override-lastmod reload-into-ims ignore-reload ignore-no-cache ignore-pri原创 2012-02-09 15:41:36 · 1102 阅读 · 0 评论 -
web cache 整理
Cache Processing Steps Receiving—Cache reads the arriving request message from the network. Parsing—Cache parses the message, extracting the URL and headers. Lookup—Cache checks if a local原创 2012-02-06 11:08:43 · 724 阅读 · 0 评论 -
cache hierarchies
cache层级化主要是为了提高命中率,cache无论是容量还是性能都是有限的,假如cache miss了,从neighbor cache获取内容一般来讲比从origin server好: 可以节约延迟和WAN的带宽。层级化意味着多个cache,cache之间常见的关系是两种:parent-child, sibling-sibling , neighbor 和 peers的意义比较自由,可转载 2012-02-06 09:47:25 · 572 阅读 · 0 评论 -
squid cache manager(cachemgr.cgi)配置及使用
实验环境:1台服务器上面即跑squid又跑apache例如:squid 服务IP 122.11.22.200 端口80apache 服务IP 122.11.22.200 端口8000一、找到cachemgr.cgi 文件所在位置。/usr/local/squid271/libexec/cachemgr.cgi二、复制 cachemgr.cgi 和 cache转载 2012-02-01 17:28:26 · 2875 阅读 · 0 评论 -
squid Introduction
作为一种免费的网络操作系统,Linux越来越受到广大网络爱好者的欢迎,目前Internet上运行的主机有相当一部分采用的就是Linux,而且中国已经把Linux作为政府上网的指定网络操作系统。种种迹象表明,Linux正在逐渐走向成熟。 为了解决Internet发展迅速和IP地址资源紧张的矛盾,代理服务器的使用越来越广泛。Squid是一种在Linux系统下使用的比较优秀的代理服务器转载 2012-01-20 10:33:07 · 655 阅读 · 0 评论 -
squid包含的模块
to be write。。。原创 2012-01-20 11:10:51 · 799 阅读 · 0 评论 -
编译SQUID FOR WINDOWS版修改file descriptors限制
windows版本的SQUID对file descriptors限制为2048,一般的做反向代理的CDN服务器是能够运行的。但是像本地宝每天上百万浏览量,file descriptors限制为2048就明显不行啦。访问量一大,SQUID反应速度将会降低,squid官方提供的最新稳定版本(squid-2.7stable4)默认的文件描述符(file descriptors)为2048个,一般来说转载 2012-01-16 09:48:22 · 1149 阅读 · 0 评论 -
squid的main函数源码分析
要分析一款开源的软件除了要弄清楚一些基本的使用和配置之外,其次最重要的就是对源代码进行分析。对源代码进行分析首先应从其main函数分析入手,了解他在启动时的涉及的哪方面的功能,并勾勒出他的运行流程图,现在squid已经支持windows平台了,并且支持以服务的方式启动。其代码如下:#if USE_WIN32_SERVICE/* When USE_WIN32_SERVICE is de原创 2012-02-10 17:40:27 · 2444 阅读 · 0 评论 -
refresh_pattern概述整理
squid权威指南中介绍说refresh_pattern指令间接的控制磁盘缓存。它帮助squid决定,是否某个给定请求是cache命中,或作为cache丢失对待。宽松的设置增加了你的cache命中率,但也增加了用户接收过时响应的机会。另一方面,保守的设置,降低了cache命中率和过时响应。 refresh_pattern规则仅仅应用到没有明确过时期限的响应。原始服务器能使原创 2012-02-09 10:31:05 · 1173 阅读 · 0 评论 -
squid返回状态码
Squid request status:TCP_HITSquid发现请求资源的貌似新鲜的拷贝,并将其立即发送到客户端。TCP_MISSSquid没有请求资源的cache拷贝。TCP_REFERSH_HITSquid发现请求资源的貌似陈旧的拷贝,并发送确认请求到原始服务器。原始服务器返回304(未修改)响应,指示squid的拷贝仍旧是新鲜的。TCP_REF_FAIL_H转载 2012-02-28 16:40:21 · 2196 阅读 · 0 评论 -
整理对“Cache-control”理解
概念Cache-control 用于控制HTTP缓存(在HTTP/1.0中可能部分没实现,仅仅实现了Pragma: no-cache)数据包中的格式:Cache-Control: cache-directivecache-directive可以为以下:request时用到:| "no-cache"| "no-s原创 2012-02-14 12:34:29 · 2041 阅读 · 0 评论 -
nginx的cache_purge模块及支持squidclient刷新的配置
nginx proxy_cache是一个类似squid的完整的缓存解决方案,它是0.7.44版本之后加入的功能,发展了比较长时间,想必也能稳定下来了。在没有proxy_cache之前只能用proxy_store缓存页面,因为nginx并没有为proxy_store设计任何刷新机制,所以要用的话还得加入外部设计的刷新功能,比如shell啊php等等,使用proxy_cache就会方便一些。一转载 2012-02-23 09:34:11 · 832 阅读 · 0 评论 -
webalizer-2.23-05 for squid
介绍: webalizer是一个高效的、免费的web服务器日志分析程序。其分析结果以HTML文件格式保存,从而可以很方便的通过web服务器进行浏览。Internet上的很多站点都使用webalizer进行web服务器日志分析。Webalizer具有以下一些特性: 1. 为是用C写的程序,所以其具有很高的运行效率。在主频为200Mhz的机器上,webalizer每秒钟可以分析10原创 2012-02-14 16:52:58 · 936 阅读 · 0 评论 -
Squid mainInitialize()函数分析
static void mainInitialize(void){ //... //do nothing ... comm_select_postinit(); //configure_once代表是否曾经调用过mainInitialize()函数 //1表示之前调用过 if (!configured_once) //do nothing ... disk_init()转载 2012-02-14 17:06:36 · 834 阅读 · 0 评论 -
squid源码方面的资料太少,想写一系列squid源码分析方面的文章,支持的进!
想起来从接触squid到现在已经有2个月样子,刚开始的时候网上查了很久,除了了由本《squid权威指南》可以看到一些原理和涉及什么方面外,确实没什么资料可以看,特别对于想修改squid源码并集成到自己系统中来说帮助不多。 对于已经接触了2个多月的我来说,对squid源码的剖析还是有小成,但就是不晓得是否有必要写一些列文章?真的不晓得squid有好多人在用?你们有什么想法,欢迎讨论原创 2012-02-14 13:27:47 · 3210 阅读 · 2 评论