![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
文件处理
文章平均质量分 93
文件处理的设计与实现,包括整体规划与设计、前端与后端处理,minio的集成
学海无涯,行者无疆
热爱技术,专注于架构、设计、开发,侧重于综合运用与实战,所有内容均动手验证确认,不以讹传讹,欢迎评论、转发和私信。
每周更新一篇高质量原创文章,你的支持是创作的动力,记得添加关注~。
一起努力,遇见更好的自己。
展开
-
一二三应用开发平台文件处理设计与实现系列之7——minio多节点共享磁盘模式验证
在不了解minio架构设计之前,我根据既往经验推测minio是将文件读写封装实现了一个应用系统,如要实现高可用,则需要部署两个minio节点,共享同一块磁盘。两个minio节组成一个集群,使用nginx实现负载均衡,这是一种常见的部署架构。官方资料介绍的部署模式有两大类(https://min.io/docs/minio/linux/operations/installation.html),单节点部署和分布式部署,其中单节点又细分为单磁盘(只使用1块磁盘,不使用纠删码)和多磁盘(至少挂载4块磁盘,启用原创 2024-01-29 08:00:00 · 2088 阅读 · 2 评论 -
一二三应用开发平台文件处理设计与实现系列之6——集成minio实现文件存储
背景前面完成了minio的技术预研,今天基于文件存储框架,集成minio,实现平台使用对象存储组件来存储文件的功能。配置文件相比于直接磁盘存储,只需要指定存储类和根路径,minio还需要指定服务地址、账号、密码、桶名,因此在配置文件的oss节点下新增minio属性,存放这几个配置信息。原创 2024-01-22 08:00:00 · 1034 阅读 · 0 评论 -
一二三应用开发平台文件处理设计与实现系列之5——MinIO技术预研
上篇介绍了文件读写框架设计与实现,同时顺便说明了本地磁盘存储模式的实现模式。今天来说下基于文件读写框架,如何集成对象存储组件minio,集成之前,需要对minio进行必要的了解,本篇是minio的技术预研。minio简介minio是一套小而美的开源的对象存储系统(Object Storage System,简称OSS),优点如下:● 支持存储海量非结构化数据(单个文件从几十kb到最大5T不等)● 性能高,在标准硬件上,读/写速度高达183GB/秒和171GB/秒● 完全兼容Amazon S3接口原创 2024-01-15 08:00:00 · 1190 阅读 · 0 评论 -
一二三应用开发平台文件处理设计与实现系列之3——后端统一封装设计与实现
前面介绍了前端通过集成vue-simple-uploader实现了文件的上传,今天重点说一下后端的设计与实现。从功能角度而言,实际主要就两项,一是上传,二是下载。其中上传在文件体积较大的情况下,为了加快上传速度,提升用户体验,在具体实现上进行了文件分块,以及文件块的合并操作。从业务场景而言,主要分为两类:一是表单相关的附件;二是通知公告等场景,使用富文本编辑器时上传的图片。在这两类场景中,文件实际并不是主体,而是实体的附属品。平台对文件上传下载的支撑功能,重点还在于表单相关附件,并支持图片的上传与展原创 2024-01-01 08:00:00 · 1077 阅读 · 0 评论 -
一二三应用开发平台文件处理设计与实现系列之2——前端集成vue-simple-uploader
文件的上传是系统的必备功能,Element提供了上传组件upload,也基本能满足常见常用的文件上传功能,特别是应对小型文件(10M以下)的处理。但如果是遇到要求更多更高的场景,上传几百兆甚至上G的视频文件,要求分块上传,能断点续传,显示进度,能暂停,能重试……这时候就显得乏力了。如果基于upload实现,需要附加大量的二次开发,这未必是一种最佳实现方案。这时候,就需要找一找看一看,市面上是否有现成的“轮子”可用了。接下来,分两篇,分别介绍下前端实现和后端实现,今天首先来说下前端那些事儿。原创 2023-06-06 10:50:53 · 5598 阅读 · 8 评论 -
一二三应用开发平台文件处理设计与实现系列之1——文件处理需求、方案、整体设计
对于应用系统而言,数据主要分为两大类,结构化数据和非结构化数据。结构化数据通常是指可以明确定义其数据结构及属性的对象,如组织机构、用户、合同、订单等,通常都会使用关系型数据库来存储,通过SQL来读写。非结构化数据,主要是文件类,如word、excel等office文档以及PDF、音频、视频、压缩包等二进制格式,无法明确定义数据结构,通常不会存放到关系型数据库的大字段中,而是另行存储,关系型数据库中只存放其引用,如磁盘路径或文件标识。原创 2023-12-11 08:00:00 · 1012 阅读 · 0 评论