国内图片网站Yupoo的架构

最新推荐文章于 2024-10-17 14:36:40 发布

马小瑄

最新推荐文章于 2024-10-17 14:36:40 发布

阅读量559

点赞数

文章标签：架构微服务程序人生经验分享开发语言

本文链接：https://blog.csdn.net/slw213106/article/details/122059795

版权

本文详细介绍了国内知名图片服务提供商Yupoo的架构，包括其Web服务器、应用服务器、图片处理层、图片存储层以及分库设计。Yupoo采用了Lighttpd, Apache, nginx作为Web服务器，Tomcat作为应用服务器，Python和Java作为开发语言，使用MogileFS和ImageMagick处理图片。在分库设计中，Yupoo采取了水平拆分策略，通过索引表对应用户和数据库，以应对大数据量的存储和管理。此外，还讨论了缓存系统和应对数据一致性的解决方案。" 112545831,8765456,使用OpenJDK 11与JAXB参考实现进行XML模式编译,"['java', 'jdk', 'openjdk', 'xml', '编译']

摘要由CSDN通过智能技术生成

之前向大家介绍过全球最大在线图片服务网站Flickr网站架构，Yupoo（又拍网）作为国内最大的图片服务提供商，我们也一起来看看它的架构，同样是提供图片服务，看看他与Flickr的差别在哪里，大家看完本文可以思考一下。

一、先来看看Yupoo网站的基本信息：

带宽：4000M/S (参考)
服务器数量：60 台左右
Web服务器：Lighttpd, Apache, nginx
应用服务器：Tomcat

其他：Python, Java, MogileFS 、ImageMagick 等

其架构图如下：

原图链接

二、关于 Squid 与 Tomcat

Squid 与 Tomcat 似乎在 Web 2.0 站点的架构中较少看到。我首先是对 Squid 有点疑问，对此阿华的解释是"目前暂时还没找到效率比 Squid 高的缓存系统，原来命中率的确很差，后来在 Squid 前又装了层 Lighttpd, 基于 url 做 hash, 同一个图片始终会到同一台 squid 去，所以命中率彻底提高了"

对于应用服务器层的 Tomcat，现在 Yupoo! 技术人员也在逐渐用其他轻量级的东西替代，而 YPWS/YPFS 现在已经用 Python 进行开发了。

名次解释：

YPWS--Yupoo Web Server YPWS 是用 Python开发的一个小型 Web 服务器，提供基本的 Web 服务外，可以增加针对用户、图片、外链网站显示的逻辑判断，可以安装于任何有空闲资源的服务器中，遇到性能瓶颈时方便横向扩展。
YPFS--Yupoo File System 与 YPWS 类似，YPFS 也是基于这个 Web 服务器上开发的图片上传服务器。

【Updated: 有网友留言质疑 Python 的效率，Yupoo 老大刘平阳在 del.icio.us 上写到 "YPWS用Python自己写的，每台机器每秒可以处理294个请求, 现在压力几乎都在10％以下"】

三、图片处理层

接下来的 Image Process Server 负责处理用户上传的图片。使用的软件包也是 ImageMagick，在上次存储升级的同时，对于锐化的比率也调整过了(我个人感觉，效果的确好了很多)。”Magickd“ 是图像处理的一个远程接口服务，可以安装在任何有空闲 CPU资源的机器上，类似 Memcached的服务方式。

我们知道 Flickr 的缩略图功能原来是用 ImageMagick 软件包的，后来被雅虎收购后出于版权原因而不用了（?）；EXIF 与 IPTC Flicke 是用 Perl 抽取的，我是非常建议 Yupoo! 针对 EXIF 做些文章，这也是潜在产生受益的一个重点。

四、图片存储层

原来 Yupoo! 的存储采用了磁盘阵列柜，基于 NFS 方式的，随着数据量的增大，”Yupoo! 开发部从07年6月份就开始着手研究一套大容量的、能满足 Yupoo! 今后发展需要的、安全可靠的存储系统“，看来 Yupoo! 系统比较有信心，也是满怀期待的，毕竟这要支撑以 TB 计算的海量图片的存储和管理。我们知道，一张图片除了原图外，还有不同尺寸的，这些图片统一存储在 MogileFS 中。