JuiceFS 是一款为云环境设计的分布式高性能文件系统。Amazon EFS 易于使用且可伸缩,适用于多种应用。Amazon FSx for Lustre 则是面向处理快速和大规模数据工作负载的高性能文件系统。
在本文中,我们将通过一系列测试,来评估这三种主流文件系统的性能与成本表现,帮助用户快速了解这些产品。
01 测试环境
测试采用了AWS 的 c5.4xlarge 实例(16核,32GB 内存,10Gbps 网络带宽),涵盖了AWS EFS、JuiceFS 云服务(位于美西2区),以及 AWS FSx for Lustre(1.2 TB、1,200 MB/s配置)。
JuiceFS 客户端测试:配置了 4 个线程,同时测试大文件(1,024 MiB 文件,每块1 MiB 读/写)和小文件(128 KiB 文件,100 个文件读/写)。
02 性能测试与用例
性能测试主要用于评估大文件和小文件的顺序读写性能:
- 大文件顺序读写:对于需要持续吞吐量的应用非常关键,例如大语言模型(LLM)的数据处理和训练、基因测序、大数据分析、视频流和数据备份;
- 小文件顺序读写:模拟了在计算机视觉数据处理和模型训练、媒体处理、科学计算等领域常见的工作负载。
下表显示了吞吐量的测试结果(单位 MiB/s):
测试场景 | EFS | JuiceFS | FSx for Lustre |
---|---|---|---|
写大文件 | 475 | 1,116 | 594 |
读大文件 | 568 | 1,016 | 590 |
写小文件 | 29 | 8 | 297 |
读小文件 | 104 | 160 | 274 |
- 大文件:JuiceFS 在读写大文件方面是最快的。
- 小文件:FSx for Lustre 在读写小文件方面表现最佳。
挂载 JuiceFS 的参数如下:
- buffer-size=1024
- max-upload=200
- max-download=200
03 费用比较
下表列出了这些产品的收费标准(单位 $):
费用项目 | EFS | JuiceFS | FSx for Lustre |
---|---|---|---|
存储 | 0.30/GB-month | 0.02/GB-month + S3 0.023/GB-month | 0.60/GB-month |
写访问 | 0.06/GB 0.10/GB cross AZ | Free same region + S3 API $0.005/1,000 requests | Free same AZ 0.10/GB cross AZ |
读访问 | 0.03/GB 0.10/GB cross AZ | Free same region + S3 API $0.0004/1,000 requests | Free same AZ0.10/GB cross AZ |
读小文件 | 104 | 160 | 274 |
- AWS EFS 根据存储和访问量收费,对于大规模使用来说相对成本较高;
- 使用 JuiceFS 产生的费用,包括 S3 和 JuiceFS 两部分,但仍然是一个成本较低方案,尤其是当数据在同一区域内访问时,成本效益尤为突出;
- FSx for Lustre 提供了高性能,但其存储成本最高。
需要特别注意的是一项隐藏费用,跨可用区(AZ)数据传输费用。对于 AWS EFS 和FSx for Lustre 来说,跨不同可用区的数据传输可能会带来额外的成本。而 JuiceFS 利用了 S3 存储在同一地区内的可免费访问的特性,从而减少了这部分的费用。
04 POSIX 兼容性对比
在 AI 应用中,数据处理流程较为复杂,POSIX 兼容性成为团队考量的重要因素。因此,本次比较的结尾部分将提供这三种文件系统在 POSIX 兼容性方面的详细对比。在我们的另一篇博客文章中,对比了云上七款文件系统的 POSIX 兼容性,其中 JuiceFS 通过了全部 8832 项测试,EFS 未通过 1895 项测试,失败比例为 21%,具体测试项目可以参考这篇博客。
之前的测试未包含 FSx for Lustre, 我们按照上述博客中的测试方法,对 FSx for Lustre 的 POSIX 兼容性再次进行了测试,FSX for Lustre 有 16 项测试未通过, 其中 chown 失败 14 项,utimensat 失败 2 项。
此外,JuiceFS 支持 POSIX ACL、回收站、子目录挂载、子目录配额、数据透明压缩、数据在传输和静态时的加密、跨区域复制等功能。
05 小结
JuiceFS在顺序读/写场景中展现出了显著的性能优势,超越了AWS EFS,与 AWS FSx for Lustre 结果相当,但成本更低提供了。而针对随机读/写操作,通常网络文件系统是相对低效的,在这种情况下,为了获得最佳性能,建议使用高级集群技术,将操作集中在本地,同时将远程过程进行批量处理。
总体而言, JuiceFS 提供了兼顾性能与成本优势的方案,在需要大量顺序读/写工作负载的场景,JuiceFS 是一个不错的选择。
希望这篇内容能够对你有一些帮助,如果有其他疑问欢迎加入 JuiceFS 社区与大家共同交流。