JuiceFS 社区版 v1.2 发布，新增企业级权限管理、平滑升级功能

Juicedata

于 2024-06-21 12:17:05 发布

阅读量761

点赞数 22

文章标签：云原生运维

本文链接：https://blog.csdn.net/juicefs/article/details/139857735

版权

JuiceFS 社区版 v1.2 今天正式发布，这是自 2021 年开源以来的第三个大版本。v1.2 也是一个长期支持版本（LTS）。我们将持续维护 v1.2 以及 v1.1 这两个版本，v1.0 将停止更新。

JuiceFS 是为云环境设计的分布式文件系统，支持超过 10 种元数据引擎和 30 种以上的数据存储引擎。这些丰富的选择使得用户可以灵活应对多变的企业环境和数据存储需求；同时，JuiceFS 兼容多种访问协议，包括 POSIX、HDFS、S3 和 WebDAV，并可在 Kubernetes 中作为持久卷（PV）使用，从而确保数据在不同应用间能够自由流通。

JuiceFS 社区版采用 “Apache 2.0” 许可，允许用户根据自身需求进行二次改进，用户可以放心将 JuiceFS 应用于各种商业环境。

新功能概览

在过去几年中，JuiceFS 社区版在多个行业和场景中得到广泛应用，尤其是在 AI 和大模型领域。为了应对这些大规模数据场景中的复杂权限管理问题，最新的 1.2 版本中引入了多项新特性，并对一些原有功能进行了优化：

支持 POSIX ACL：通过使用 Linux 自带的 ACL 工具（setfacl/getfacl）可以实现更加强大的用户权限管理；
支持平滑升级：可在相同挂载点再次挂载 JuiceFS ，实现业务无感的平滑升级；此外，这种方式也支持在线调整挂载参数；
S3 Gateway 高级功能：新增了“身份和访问管理（Identity and Access Management，IAM）” 与 “事件通知” ，提供更安全、灵活和自动化的数据管理和监控能力，适用于多用户环境和复杂的业务场景；
JuiceFS Sync 优化：增强了选择性同步功能，并对多个场景进行了性能优化，以提高大目录和复杂迁移任务的数据同步效率。

适应更多场景

新支持 NFS/Dragonfly/Bunny 作为对象存储，便于用户根据场景需求灵活选择后端存储。目前, JuiceFS 已支持 40+ 对象存储。

更稳定

客户端缓存支持自动坏盘检测和隔离。JuiceFS 利用客户端的本地硬盘进行数据缓存，能有效提升大部分场景下的数据访问速率。新版本中 JuiceFS 新加入了坏盘自动检测和隔离功能，使系统在遇到硬件异常时仍能保持稳定性能，减少对业务的影响；
dump 命令和元数据自动备份优化，以改善元数据导出性能。在原来的实现中，为了能更快地将所有元数据导出，客户端会先将所有的键值对加载到内存中，这在较大规模的文件系统中给系统带来了很大的内存压力。在新版本中 JuiceFS 会根据文件数自动选择策略，在其总数大于十万时采用较缓和的逐文件导出的方式。同时，为了兼顾速度，此策略在实现中加入了多并发预取的特性。

更易用

新增 juicefs compact 命令，允许用户手动对指定路径进行 compact 操作。在之前版本中，用户可使用 juicefs gc --compact命令执行全局的 compact 操作，从而在必要时尝试减少对象存储的容量使用。但是，当文件系统规模比较大时，gc 命令往往需要运行很久，用户体验较差。新的 compact命令增强了运维的灵活性；
juicefs mount 命令新增 --cache-expire选项，该参数允许用户来指定本地数据缓存的有效时间，一旦设定的时间到期，相关缓存数据将自动被删除。相较于原来只能在缓存盘达到容量阈值时才触发缓存清理，此选项为用户带来了更灵活的缓存管理选项；
juicefs warmup 命令优化，支持手动清理指定路径的缓存块，以及检查指定路径的已有缓存比例。这将方便用户能更可靠有效地管理客户端数据缓存，提升业务的缓存命中率；
gateway/webdav 支持后台运行，这一改进使得用户可以将其作为守护进程在后台运行，从而提高服务的可用性和稳定性，用户可以更轻松地集成和使用 JuiceFS 在多种网络环境中；
多项易用性优化，如：命令行参数支持更人类友好的格式（如直接使用 128K、4M 等字符串指定分块大小），更多的监控指标，更可靠的 debug 信息收集命令等。