helyim 是使用 rust 重写的 seaweedfs,具体架构可以参考 Facebook 发表的 haystack 和 f4 论文。
主要设计目标为:
精简文件元数据信息,去掉对象存储不需要的 POSIX 语义(如文件权限)
小文件合并成大文件,从而减小元数据数,使其完全存在内存中,以省去获取文件元数据的磁盘IO
支持地域容灾,包括 IDC 容灾和机架容灾
架构简单,易于实现和运维
支持的特性:
支持使用 Http 的文件上传,下载,删除,查看集群状态等接口
Volume 数据支持 Replica Placement
基于 Openraft 的元数据服务的 Failover 功能
冗余数据的定时删除
元数据接口的请求重定向
未来可能实现的功能:
支持纠删码(高优先级)
支持 Filer 服务(高优先级,以支持 S3,HDFS,Fuse 等 proxy)
支持 io-uring
支持 kernel bypass(RDMA,DPDK,SPDK)
GPU direct storage(大概率不做,但是会学习相关知识)