【大家的项目】helyim: 纯 Rust 实现的分布式对象存储系统

helyim是一个基于Rust语言重新实现的seaweedfs,设计目标是简化文件元数据并支持小文件合并,提供Http接口进行文件操作,如上传、下载、删除等。它具有Volume数据的Replica Placement和元数据服务的Failover功能,未来计划支持纠删码、Filer服务和io-uring等高级特性。
摘要由CSDN通过智能技术生成

helyim 是使用 rust 重写的 seaweedfs,具体架构可以参考 Facebook 发表的 haystack 和 f4 论文。

主要设计目标为:

  1. 精简文件元数据信息,去掉对象存储不需要的 POSIX 语义(如文件权限)

  2. 小文件合并成大文件,从而减小元数据数,使其完全存在内存中,以省去获取文件元数据的磁盘IO

  3. 支持地域容灾,包括 IDC 容灾和机架容灾

  4. 架构简单,易于实现和运维

支持的特性:

  1. 支持使用 Http 的文件上传,下载,删除,查看集群状态等接口

  2. Volume 数据支持 Replica Placement

  3. 基于 Openraft 的元数据服务的 Failover 功能

  4. 冗余数据的定时删除

  5. 元数据接口的请求重定向

未来可能实现的功能:

  1. 支持纠删码(高优先级)

  2. 支持 Filer 服务(高优先级,以支持 S3,HDFS,Fuse 等 proxy)

  3. 支持 io-uring

  4. 支持 kernel bypass(RDMA,DPDK,SPDK)

  5. GPU direct storage(大概率不做,但是会学习相关知识)

使用方法:

  • 7
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值