0 项目说明
基于异步架构的图片管理系统后端设计和实现
提示:适合用于课程设计或毕业设计,工作量达标,源码开放
本系统仅向外提供JSON接口,不返回HTML/CSS/JS等可视化数据,相对于经典的MVC架构仅有MC,也就是只有模型层、控制层。
1 项目说明
在互联网、多媒体时代,图片无处不在,云计算服务商针对图片垂类的支持欠缺,各个企业重复开发现象严重。图片管理是CPU密集型、IO密集型场景,使用同步处理时延高、流程长,系统高峰期、低峰期负载相差较大,造成资源浪费。
使用异步架构能够很好地解决同步场景下的问题,将处理流程分为核心路径和非核心路径,核心路径使用同步处理,非核心路径通过消息队列异步化处理,缩短处理流程,降低处理时延,异步化还能起到削峰的作用。添加、删除、修改非核心路径的处理,不需改动核心路径代码,增大系统的可维护性和可扩展性。
2 相关技术
异步化是将非核心路径的处理转移到不同服务实例、不同时间进行处理,达到提高用户体验,系统削峰、流程优化、提高系统可扩展性的目的。
本系统主要使用的技术有:
- NSQ消息队列系统
- MySQL关系型数据库系统
- HDFS分布式存储系统
- Redis缓存系统
- Go编程语言
- Docker容器管理系统
3 系统设计
3.1 系统功能结构
图片管理系统后端的主要需求:
- 上传
- 下载
- 格式转化
- 添加水印
- 查看图片元数据
- 查看上传历史
从处理的请求类型看,可将整个系统划分为三大模块:
- 写模块
- 读模块
- 消费者模块
写模块处理需写存储的请求,如上传、删除图片,其处理核心流程,将非核心流程通过消息队列异步化到消费者模块处理。
读模块提供接口供外部调用访问图片的二进制数据和元数据,仅处理读存储的请求。
消费者模块异步完成非核心流程处理,将处理均匀打散到不同时间、不同机器上处理,异步化达到降低处理时延、负载均衡、削峰的目的。
3.2 设计模式
本系统强调异步架构,异步通过消息队列实现,将非核心处理步骤异步化到不同时间、不同机器上做处理。因为采用消息队列,所以选择生产者消费者模式进行处理。
为了在开发前期中测试阶段满足测试需要,在还没接入HDFS分布式存储时,将图片简单地存储在本地文件系统中,方便后续替换不需要修改大量的代码,采用面向接口编程,对于每个实现独立测试。在后续实现中需替换分布式存储时,可将代码改动降低到最小。如需将本地存储替换为HDFS、HDFS替换为Ceph。
开发中采用Go语言推荐的实践,使用组合模式而不是集成模式。
因为WebHdfs中采用Restful HTTP协议交互,如果每个请求编程中都使用重复代码拼接HTTP请求,不仅代码复用率低,而且容易出错。将WebHdfs交互部分使用适配器模式进行抽离。达到每次只需调用适配器的代码,即能够访问WebHdfs的目的。
4 论文概览
5 项目工程
**项目分享: **
https://gitee.com/asoonis/htw