分布式文件存储选型 go-fastDFS

本文探讨了在面临分布式文件存储需求时,如何在Lustre、NFS、OpenAFS等系统中进行选型。由于特定条件,作者放弃了fastDFS和hdfs,选择了go-fastDFS作为初步方案,因为它支持Docker且提供浏览器上传功能。然而,go-fastDFS的集群部署案例不足,可能需要后续解决。
摘要由CSDN通过智能技术生成

前言

公司要做二维码、语音、小视频、图片功能,这里对实时要求不高,所以没有必要采用流式服务器做处理。
我们采用FTP什么传统的文件服务器,对扩展不友好,
所以我们用采用分布式文件存储。
之前工作中boss的要求,也就会fastDFS、hdfs,

  1. 但是这里他们没有docker镜像,我不想用fastDFS。
    还有fastDFS本身不支持restAPI。必须自己写一套服务供自己处理
  2. hdfs不适合小文件pass
    所以需要自己选型。

各大分布式文件系统简介

Lustre、NFS、OpenAFS、pNFS、GoogleFS对比

由于其他的可以看参考资料进行比较,没有必要重复比较了

  1. 继Lustre和GPFS之后,HPC又迎来那个新文件系统接盘?

Lustre已经停止维护了。作者推荐BeeGFS

  1. 为HPC市场带来一个新的文件系统:BeeGFS

它绝对是硬件独立的。开始时你可以用更少的组件,随着业务成长,你只需要容量或性能要求添加组件即可。它的

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
go-fastdfs是一个基于http协议的分布式文件系统,它基于大道至简的设计理念,一切从简设计,使得它的运维及扩展变得更加简单,它具有高性能、高可靠、无中心、免维护等优点。 特点: 支持curl命令上传 支持浏览器上传 支持HTTP下载 支持多机自动同步 支持断点下载 支持配置自动生成 支持小文件自动合并(减少inode占用) 支持秒传 支持跨域访问 支持一键迁移(搬迁) 支持异地备份(特别是小文件1M以下) 支持并行体验 支持断点续传(tus) 支持docker部署 支持自监控告警 支持图片缩放 支持google认证码 支持自定义认证 支持集群文件信息查看 使用通用HTTP协议 无需专用客户端(支持wget,curl等工具) 类fastdfs 高性能 (使用leveldb作为kv库) 高可靠(设计极其简单,使用成熟组件) 无中心设计(所有节点都可以同时读写) 优点: 无依赖(单一文件) 自动同步 失败自动修复 按天分目录方便维护 支持不同的场景 文件自动去重 支持目录自定义 支持保留原文件名 支持自动生成唯一文件名 支持浏览器上传 支持查看集群文件信息 支持集群监控邮件告警 支持小文件自动合并(减少inode占用) 支持秒传 支持图片缩放 支持google认证码 支持自定义认证 支持跨域访问 极低资源开销 支持断点续传(tus) 支持docker部署 支持一键迁移(从其他系统文件系统迁移过来) 支持异地备份(特别是小文件) 支持并行体验(与现有的文件系统并行体验,确认OK再一键迁移) 支持token下载 token=md5(file_md5+timestamp) 运维简单,只有一个角色(不像fastdfs有三个角色Tracker Server,Storage Server,Client),配置自动生成 每个节点对等(简化运维) 所有节点都可以同时读写   go-fastdfs分布式文件系统 更新日志: v1.4.2 修复图片缩放过大服务出现退出问题
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值