图片存储架构学习:缓存,架构师的美丽小三(一)

从我的独立博客中同步过来的,一起探讨

版权声明:非商业自由转载,保留原文内容完整性,并署名作者王国峰原文链接

前言

在上一篇中,我强行拆散了WEB服务器和图片服务器这对恋人,这样做或许有点不太厚道,但对于他们未来各自的发展绝对有好处,不久的将来,他们会感谢我的。

好了,回到今天的话题,今天这篇文章主要来谈谈缓存技术在图片存储架构中的重要地位,并一起来探索一下实现图片缓存的方案。我个人的观点是:一个性 能优良的、扩展性强的大型系统,势必要缓存一切可以缓存的资源,因为没有什么比在内存中操作更快的了(CPU不算,那里可存的空间太小了)。

PS:本文部分内容将有空空老师友情出演。

为什么要缓存图片

简单的说缓存可以通过直接访问内存来提高图片读取速度,缓解因站点高访问量而带来的图片I/O瓶颈。很多时候,图片是一类不经常更新的静态资源,是 典型的读远大于写的情况,因此完全满足缓存的原则:一次写入,无数次读取。当然也不是所有满足这点的都会用到缓存,比如上次写的那篇优酷网架构学习笔记中就提到,优酷网在存储视频时并没有大量采用视频缓存技术,原因有二:

1、Squid 的 write() 用户进程空间有消耗,Lighttpd 1.5 的 AIO(异步I/O) 读取文件到用户内存导致效率也比较低下,这是内存锁造成的。
2、如接到老大哥通知要把某个视频撤下来,如果在缓存里是比较麻烦的(这个是亮点,O(∩_∩)O)

但总的来说,对于像图片、视频之类的静态文件,还是非常适合做缓存的。缓存永远是架构师的美丽小三,哈哈。

图片缓存方案探究

接下来就重点来探究一下实现图片缓存的具体方案,文章尽量按人的正常思维来步步深入,从简单到复杂,一起来看看吧,希望看完后能略微提升你的设计品 味。时尚的设计是一个不断推敲和磨合的过程,这个相信各位程序猿和攻城狮都深有体会吧。关于这一块,我将分2篇文章来解说,这一篇先介绍如何在IIS等 web容器中设置Http Headers来实现图片的缓存。

注意:这里的web容器是指IIS、Tomcat或者其他的WEB服务器软件,下面我以IIS来举例。

IIS中的缓存分为服务器缓存客户端缓存, 对于静态资源(html、css、js、图片等),服务器缓存是默认开启的,也就是我们在向服务器请求静态资源时,服务器是先从其内存中取文件的,取不到 再去硬盘中找(真累啊!),有时候开启服务器缓存很让人讨厌,后面我们会提到。客户端缓存顾名思义是把待请求的资源缓存在客户端的,用户请求资源时先从本 地找,找不到再去麻烦服务器。下面先具体谈谈客户端缓存。

1、客户端缓存

如何设置呢?请看下图



图片来源

上图表明开启IIS的缓存模块,并设置过期时间为1天,也就是1天之内,用户访问这张图片时均可以从其本地的缓存副本中读取,而不必来服务器下载, 当然1天之后,缓存失效,图片下载后又重新会被载入浏览器缓存中。当然这种方式需要你有管理IIS的权限,我想作为架构师的你这点权限算个皮毛啊。

这个什么原理呀?别急,请听我娓娓道来,小伙子要耐心

这个主要是靠Http Headers来控制的,Http Headers是HTTP请求(Request)和响应(Response)的核心,它承载了关于客户端浏览器,请求页面,服务器等相关的信息。简单地 说,它是浏览器和服务器之间交互的信息牌,浏览器通过它告知服务器客户端的相关信息和请求信息(比如我是什么类型的浏览器、我是否可以接收你服务器 gzip过的内容、请求的长度是多少、是否允许缓存等等内容);服务器通过它告知浏览器服务器响应这次请求的相关信息(比如服务器变量、返回的长度、 cookie等信息),具体Http Headers的内容可以参看这篇文章

了解了Http Headers,那这个缓存问题就好解释了,我的解释如下:当我屁颠屁颠地带着这个Http Headers去向服务器请求空空老师的写真图片时,服务器提取出Http Headers发现其中的Cache-Control是Public的,也就是可以缓存的,然后服务器再看看自己设置的缓存过期时间,发现还没过期,于是告诉我,小子,先在你本地去找空空老师的图片吧,找不到再来向我要。于是我回去找了,发现本地真的有空空老师的写真图,他没有骗我,好开心啊

不知道我这样解释空空迷们懂了么?不管你懂不懂,我反正是懂了!当然有不正确的地方请指出,谢谢。

2、服务器缓存

上面我已经说过,IIS中的服务器缓存是默认开启的,IIS默认会把静态资源缓存起来,以便快速读取,当静态文件有改动时,缓存也能够自动更新。但 是有一个很讨厌的问题,假如我这些图片都是大量的(几百万几千万)且都是实时更新的(比如股票行情图),这样问题来了,我这么多图片一更新,IIS缓存还 没来得及更新(量实在是太TM大了),于是我会在很长一段时间内访问到的图片都是旧版本的,这令炒股的我非常懊恼。那么既然它违背缓存的原则,我们怎么禁 用它呢?方法绝对没你想得那么简单,我建议大家看看这篇文章,是直接修改MetaBase.xml文件,如果对服务器不熟的家伙是不敢随便动这个文件的,不过架构师的你嘛,这点小儿科了,哈哈哈。

通过上面的阐述,我想聪明的你应该会使用这个最简单的方法设置缓存了,如果你真的是很笨还木有理解,那么请先用你的左手打右手两下,还不懂,那再用你的右手打左手两下,我就这么打过来的,直到懂了为止,哈哈哈。

好了,以上是关于IIS中设置缓存的方法,这里好几次引用了空空老师,让您受累了,谢谢。

下一篇将继续谈谈图片的缓存技术,不过是关于分布式缓存的,比这篇稍微进了一个阶梯,敬请大家关注。

转载请自觉注明原文链接:http://www.itivy.com/ivy/archive/2012/2/18/image-storage-cache-1.html

转载于:https://www.cnblogs.com/sxwgf/archive/2012/02/18/2357653.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
作为一名 Java 架构师,您需要具备广泛的技术知识和实践经验。下面是一些建议的学习路线: 1. Java 基础知识:作为一个 Java 架构师,您需要熟练掌握 Java 语言的基本语法、面向对象编程、集合、IO/NIO、多线程、异常处理等知识点。 2. 数据库和缓存:您需要了解常见的关系型数据库(如 MySQL、Oracle、PostgreSQL 等)和非关系型数据库(如 MongoDB、Redis、Elasticsearch 等)的基本操作和优化技巧,以及缓存技术(如 Memcached、Redis 等)的应用。 3. Web 开发框架:您需要掌握常见的 Java Web 开发框架(如 Spring、Spring MVC、Spring Boot、MyBatis、Hibernate 等)及其应用。 4. 分布式系统和微服务:您需要了解分布式系统的基本原理和常见技术(如 RPC、消息队列、分布式缓存、分布式事务等),以及微服务架构的设计和实现。 5. 大数据和人工智能:您需要了解大数据技术(如 Hadoop、Spark、Hive、HBase 等)和人工智能技术(如机器学习、深度学习、自然语言处理等)的基本原理和应用。 6. DevOps 和云计算:您需要了解 DevOps 的基本原理和工具链(如 Jenkins、Docker、Kubernetes 等),以及云计算平台(如 AWS、Azure、Google Cloud 等)的基本操作和架构设计。 7. 架构设计和性能优化:作为一名 Java 架构师,您需要了解系统的架构设计和性能优化技巧,包括负载均衡、高可用、容灾、监控、日志分析等。 除了以上学习路线,您还需要注重实践经验的积累,例如参与开源项目、编写技术博客、参加技术社区活动等。同时,您也需要关注最新的技术趋势和发展方向,不断更新自己的知识和技能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值