毕设分享 基于异步架构的图片管理系统后端设计和实现（源码+论文）

---

0 项目说明

基于异步架构的图片管理系统后端设计和实现

提示：适合用于课程设计或毕业设计，工作量达标，源码开放

本系统仅向外提供JSON接口，不返回HTML/CSS/JS等可视化数据，相对于经典的MVC架构仅有MC，也就是只有模型层、控制层。

---

1 项目说明

在互联网、多媒体时代，图片无处不在，云计算服务商针对图片垂类的支持欠缺，各个企业重复开发现象严重。图片管理是CPU密集型、IO密集型场景，使用同步处理时延高、流程长，系统高峰期、低峰期负载相差较大，造成资源浪费。

使用异步架构能够很好地解决同步场景下的问题，将处理流程分为核心路径和非核心路径，核心路径使用同步处理，非核心路径通过消息队列异步化处理，缩短处理流程，降低处理时延，异步化还能起到削峰的作用。添加、删除、修改非核心路径的处理，不需改动核心路径代码，增大系统的可维护性和可扩展性。

2 相关技术

异步化是将非核心路径的处理转移到不同服务实例、不同时间进行处理，达到提高用户体验，系统削峰、流程优化、提高系统可扩展性的目的。
本系统主要使用的技术有：

1. NSQ消息队列系统
2. MySQL关系型数据库系统
3. HDFS分布式存储系统
4. Redis缓存系统
5. Go编程语言
6. Docker容器管理系统

3 系统设计

3.1 系统功能结构

图片管理系统后端的主要需求：

1. 上传
2. 下载
3. 格式转化
4. 添加水印
5. 查看图片元数据
6. 查看上传历史
   

从处理的请求类型看，可将整个系统划分为三大模块：

7. 写模块
8. 读模块
9. 消费者模块

写模块处理需写存储的请求，如上传、删除图片，其处理核心流程，将非核心流程通过消息队列异步化到消费者模块处理。
读模块提供接口供外部调用访问图片的二进制数据和元数据，仅处理读存储的请求。
消费者模块异步完成非核心流程处理，将处理均匀打散到不同时间、不同机器上处理，异步化达到降低处理时延、负载均衡、削峰的目的。

3.2 设计模式

本系统强调异步架构，异步通过消息队列实现，将非核心处理步骤异步化到不同时间、不同机器上做处理。因为采用消息队列，所以选择生产者消费者模式进行处理。

为了在开发前期中测试阶段满足测试需要，在还没接入HDFS分布式存储时，将图片简单地存储在本地文件系统中，方便后续替换不需要修改大量的代码，采用面向接口编程，对于每个实现独立测试。在后续实现中需替换分布式存储时，可将代码改动降低到最小。如需将本地存储替换为HDFS、HDFS替换为Ceph。

开发中采用Go语言推荐的实践，使用组合模式而不是集成模式。

因为WebHdfs中采用Restful HTTP协议交互，如果每个请求编程中都使用重复代码拼接HTTP请求，不仅代码复用率低，而且容易出错。将WebHdfs交互部分使用适配器模式进行抽离。达到每次只需调用适配器的代码，即能够访问WebHdfs的目的。

4 论文概览

5 项目工程

**项目分享: ** https://gitee.com/asoonis/htw