Alluxio FUSE 实现原理

于 2021-05-05 01:35:03 发布
阅读量1.4k 收藏 4
点赞数
分类专栏： Alluxio技术与实践 文章标签： 大数据 数据挖掘 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Alluxio/article/details/116409218
版权

Alluxio FUSE服务通过提供Unix/Linux下的标准POSIX文件系统接口，让应用程序（比如Tensorflow，PyTorch等）在不修改代码的前提下，以访问本地文件系统的方式访问 Alluxio分布式文件系统中的数据。本文介绍Alluxio FUSE的实现原理，现状和未来发展方向。
在这里插入图片描述

FUSE(Filesystem in user space)，顾名思义，是用户空间文件系统框架。FUSE允许在不重新编译操作系统内核的前提下，在用户态提供一个自定义的文件系统实现。大致来说，FUSE包含一个内核模块和一个用户空间 FUSE 服务进程，将应用对VFS的调用传递给这个用户空间FUSE服务程序来处理。

Alluxio FUSE就是一个实现了用户态文件系统的挂载操作（mount），以及VFS调用方法的具体实现。通过Alluxio FUSE，所有的VFS定义的调用方法实现，都会转化成与 Alluxio的通信，比如将Alluxio文件系统中的文件信息或文件内容返回，从而最终用户态应用程序可以通过普通的POSIX API读取Alluxio中的文件。

1、两种底层实现：JNI-FUSE vs JNR-FUSE

Alluxio FUSE最早是由来自IBM研究院的工程师基于一个第三方FUSE库JNR-FUSE 实现的。JNR-FUSE 是一个基于JAVA语言实现的一个 FUSE 服务程序的框架，因为其不用涉及本机代码（native），特别适合快速原型实现。但由于项目维护活跃度和性能等诸多因素，Alluxio社区决定基于JNI和JNR-FUSE重新实现了一个FUSE框架：JNI-FUSE。利用JNI-FUSE同样可以使用JAVA语言，快速实现一个FUSE服务程序，同时获得更好的性能。

1.1 JNI-FUSE 与 JNR-FUSE 对比

那么，JNI-FUSE 与 JNR-FUSE 存在着哪些差异呢? 下表做出了详细的对比。
在这里插入图片描述

1.2 JNI-FUSE 性能更好的原因

首先，JNI比JNR性能要好。看起来，JNR使得开发者不再需要编写JNI的胶水代码，但是JNR-FUSE需要引入非常多的依赖，使得整体调用流程变得冗长臃肿。
在这里插入图片描述如下图所示，JNR的组件众多，JNR-FUSE的代码量也要比JNI-FUSE多出若干倍，项目架构复杂，并且仅仅是一个个人项目，因此代码中存在的问题，也难以及时得到修复。JNR-FUSE，对回调函数支持不是很好，比如每次native线程调用JVM的时候，都会先 attach到JVM，这个过程开销会比较昂贵。
在这里插入图片描述

2、FUSE 选项

Alluxio 后续可能会逐渐去掉JNR-FUSE，专注维护JNI-FUSE。此外，通过调整以下 FUSE配置项，可以优化性能。
在这里插入图片描述

3、 Alluxio FUSE 的主要流程

Alluxio FUSE是基于JNR-FUSE或JNI-FUSE框架实现的FUSE服务程序。Alluxio FUSE首先需要主动通过JNR-FUSE或JNI-FUSE调用libfuse的fuse_main_real方法，注册挂载点和每个fuse operation回调函数，然后Alluxio FUSE会打开/dev/fuse，返回文件描述符fd，等待读取来自FUSE设备的请求。fd在进程内共享，在进程间不共享，因此FUSE支持multi-thread模式，也支持多个FUSE服务程序，创建多个相互隔离的挂载点。

在这里插入图片描述当一个应用程序，比如mkdir调用 syc_mkdir 想要在FUSE挂载点之下创建文件夹时，内核态VFS发现这个挂载点对应的是FUSE类型，则构造一个FUSE_MKDIR的 fuse_req，投递到pending队列里。

libfuse启动的读取到fuse设备的请求后，会执行fuse_lib_mkdir操作，这个操作会回调到mount时给定的回调函数里，再由JNI-FUSE转而回调到AlluxioJNIFuseFilesystem中的mkdir方法，最后，mkdir方法体中会通知Alluxio的master创建文件夹，当完成操作后，会回复ok给fuse设备，这样fuse_mkdir则会返回给调用者，文件夹创建成功。

4、JNI-FUSE 的实现原理

Alluxio Fuse启动以后，会经历下图中的流程。
在这里插入图片描述首先，AlluxioFuse会通过调用native函数fuse_main_real, 进行文件系统挂载。Native 代码会调用libfuse中的fuse_main_real方法，向kernel注册挂载点以及回调函数指针。

此时，如果一个mkdir操作发生在 这个FUSE挂载点，则AlluxioFuse会收到这个通知，相应的挂载函数，jnifuse_oper_mkdir指向的mkdir_wrapper会被调用。最后这个mkdir 请求会反向调用JAVA代码中相应的FS实现函数mkdir，执行真正的实现逻辑。对于 Alluxio，就是向Alluxio master发送mkdir rpc请求。

JNI-FUSE需要把libfuse或kernel定义的数据结构返回给Java程序，这个过程，是通过DirectByteBuffer进行Native和Java之间的数据通信。
在这里插入图片描述如上图所示，当Java程序需要获取fuse_context时，会通过调用native方法fuse_get_context，将请求发送给native实现代码，native代码会调用libfuse中实现的函数 fuse_get_context，返回一个struct fuse_context类型的结构体函数指针。通过创建一个指向这块地址的DirectByteBuffer并返回给Java端的调用者，完成了Native端的使命。Java端利用JNI-FUSE对DirectByteBuffer的解析并构造出FuseContext。

5、Alluxio FUSE 多线程并发安全

FUSE服务程序在启动时，会维护一个默认大小为10 (libfuse3.x 可以设置选项 max_idle_threads 指定)的线程池，处理来自FUSE设备的请求，转而调用用户注册的回调函数执行相应的操作。因为FUSE可能会打开一个文件，使用多个线程，并发读取文件的不同部分，因此，Alluxio FUSE的read过程需要考虑并发安全。
在这里插入图片描述当Alluxio FUSE接收到一个open请求时，会打开对应的Alluxio FS中的文件，构造输入流，并且为当前调用者返回一个唯一的文件ID，当多个线程用同一个文件ID对文件进行读取时，实际上在使用同一个输入流进行读取的，但是输入流对象本身不是线程安全的，是有状态的，比如输入流的当前pos，如果一个线程正在读，另一个线程执行了seek或reset操作修改了pos，则会出现数据错误，数据流关闭等严重错误。

Alluxio采用的办法，是根据当前读请求提供的文件ID，找到对应的输入流，利用输入流对象作为monitor，确保对于同一个输入流对象，不会同时被多个读线程读取数据，实现了线程安全控制。

6、Alluxio FUSE 缓存

Alluxio FUSE 为了避免每个请求都执行 shell 命令获取用户 id 和组 id，利用 Guava 提供的 LoadingCache，实现了 groupId 和 userId 的缓存，目前缓存的数量是 100 个。

此外，Alluxio 还缓存了高频请求 path 到 AlluxioURI 对象的转换，因为每一个对 FUSE 挂载路径的请求都需要把路径转换成 Alluxio 路径。目前默认最大缓存 500个目录映射。

7、限制

Alluxio FUSE 目前由于 Alluxio 的设计限制，无法支持随机写。

8、未来工作

8.1 JNI-FUSE独立模块

JNI-FUSE功能，包含C代码，因此需要为Alluxio仓库引入C代码编译，但不是每一个 Alluxio开发者都需要编译JNI-FUSE，因此，把JNI-FUSE独立为一个单独的模块，不需要或不具备C代码编译环境的 Alluxio 开发者则不需要编译JNI-FUSE模块的C代码。

同时，JNI-FUSE模块的输出文件jar内包含着linux和macosx的libjnifuse共享库，使用 JNI-FUSE 时，无需指定 java.library.path 参数，对 libjnifuse 文件透明。

更重要的，有了 JNI-FUSE 模块，其它模块或项目也可以使用 JNI-FUSE，可以为JNI-FUSE提供更多应用场景。目前apache ozone在使用的fuse程序hcfsfuse，就在使用 JNI-FUSE。
Alluxio Github Issue 12852

8.2 Alluxio FUSE & Alluxio Worker整合

在机器学习场景下，很多情况 Alluxio FUSE 和 Alluxio Worker 是部署在一起的，但 Alluxio FUSE 到 Alluxio Worker 的本地RPC请求可能性能瓶颈，因此，Alluxio 提供了在 Alluxio Worker 进程内部启动 Alluxio FUSE，这样 Alluxio FUSE 就可以直接在 Worker 进程内操作 Block，减少 GRPC 的传输损耗。

Alluxio Github Issue 12830

8.3 JNI-FUSE 支持 libfuse3.x

libfuse 3.2以上，提供了MAX_IDLE_THREADS参数。Alluxio目前还不支持libfuse 3.x，是因为libfuse 3.x和libfuse 2.x里有部分数据结构不一样。MAX_IDLE_THREADS默认大小是10，在libfuse 2.x是无法指定的。在高并发场景，调大MAX_IDLE_THREADS可以有效降低fuse worker线程的频繁创建销毁，从而可以显著提升性能。

下表，是在1个节点，8个进程，8个线程的读测试，对比max_idle_threads为10和80两种情况下FUSE 创建线程（worker）数量。
在这里插入图片描述
当Alluxio FUSE接收到一个open请求时，会打开对应的Alluxio FS中的文件，构造输入流，并且为当前调用者返回一个唯一的文件ID，当多个线程用同一个文件ID对文件进行读取时，实际上在使用同一个输入流进行读取的，但是输入流对象本身不是线程安全的，是有状态的，比如输入流的当前pos，如果一个线程正在读，另一个线程执行了seek或reset操作修改了pos，则会出现数据错误，数据流关闭等严重错误。

Alluxio采用的办法，是根据当前读请求提供的文件ID，找到对应的输入流，利用输入流对象作为monitor，确保对于同一个输入流对象，不会同时被多个读线程读取数据，实现了线程安全控制。

6、Alluxio FUSE 缓存

Alluxio FUSE 为了避免每个请求都执行 shell 命令获取用户 id 和组 id，利用 Guava 提供的 LoadingCache，实现了 groupId 和 userId 的缓存，目前缓存的数量是 100 个。

此外，Alluxio 还缓存了高频请求 path 到 AlluxioURI 对象的转换，因为每一个对 FUSE 挂载路径的请求都需要把路径转换成 Alluxio 路径。目前默认最大缓存 500个目录映射。

7、限制

Alluxio FUSE 目前由于 Alluxio 的设计限制，无法支持随机写。

8、未来工作

8.1 JNI-FUSE独立模块

JNI-FUSE功能，包含C代码，因此需要为Alluxio仓库引入C代码编译，但不是每一个 Alluxio开发者都需要编译JNI-FUSE，因此，把JNI-FUSE独立为一个单独的模块，不需要或不具备C代码编译环境的 Alluxio 开发者则不需要编译JNI-FUSE模块的C代码。

同时，JNI-FUSE模块的输出文件jar内包含着linux和macosx的libjnifuse共享库，使用 JNI-FUSE 时，无需指定 java.library.path 参数，对 libjnifuse 文件透明。

更重要的，有了 JNI-FUSE 模块，其它模块或项目也可以使用 JNI-FUSE，可以为JNI-FUSE提供更多应用场景。目前apache ozone在使用的fuse程序hcfsfuse，就在使用 JNI-FUSE。
Alluxio Github Issue 12852

8.2 Alluxio FUSE & Alluxio Worker整合

在机器学习场景下，很多情况 Alluxio FUSE 和 Alluxio Worker 是部署在一起的，但 Alluxio FUSE 到 Alluxio Worker 的本地RPC请求可能性能瓶颈，因此，Alluxio 提供了在 Alluxio Worker 进程内部启动 Alluxio FUSE，这样 Alluxio FUSE 就可以直接在 Worker 进程内操作 Block，减少 GRPC 的传输损耗。

Alluxio Github Issue 12830

8.3 JNI-FUSE 支持 libfuse3.x

libfuse 3.2以上，提供了MAX_IDLE_THREADS参数。Alluxio目前还不支持libfuse 3.x，是因为libfuse 3.x和libfuse 2.x里有部分数据结构不一样。MAX_IDLE_THREADS默认大小是10，在libfuse 2.x是无法指定的。在高并发场景，调大MAX_IDLE_THREADS可以有效降低fuse worker线程的频繁创建销毁，从而可以显著提升性能。
下表，是在1个节点，8个进程，8个线程的读测试，对比max_idle_threads为10和80两种情况下FUSE 创建线程（worker）数量。
在这里插入图片描述
可以得出结论，增加空闲worker数量能够显著减少线程的频繁创建，这也是增大max_idle_threads 能够优化性能的原因。

Alluxio Github Issue 12758

9、Alluxio FUSE 的评测

如下测试结果是在1台机器上，分别调整测试程序的进程数和线程数，达到增大并发的目的。在同一个并发数下，分别测试AlluxioFUSE，AlluxioJniFUSE，JNR-FUSE，JNI-FUSE，FUSE的读性能。
其中，AlluxioFUSE和AllluxioJniFuse是测试数据在Alluxio分布式系统中的真实的全链路测试，而JNR-FUSE和JNI-FUSE的测试，是使用一个测试目的的单机内存文件系统，替代 Alluxio，只为评估FUSE框架的能力，最后一个FUSE测试，是测试程序直接使用 libfuse，代表着理论上限。图中单位为 MiB/s 。
在这里插入图片描述下面的折线图可以更直观的对比出JNI-FUSE比JNI-FUSE有更好的性能，AlluxioJniFuse比AlluxioFUSE性能更优，尤其在并发数增大后，差距更为明显。
在这里插入图片描述此外，利用 hcfsfuse, FIO, fstest, vdbench, FileBench, LTP, iozone 以及 Alluxio FUSE 提供的 stackFS 都可以进行 Alluxio FUSE 的功能、性能评测。

在使用Alluxio FUSE是，当发现Alluxio FUSE性能没有达到预期，或者运行失败报错，需要判断问题出现在通信链路的哪一段，利用hcfsfuse可以把 FUSE 服务程序的远端存储，由Alluxio更换为localfs(本地文件系统)，如果更换为localfs性能变化很大，或者问题不再出现，可以判断问题出现在FUSE服务程序与远端存储通信的链路，反之，问题与后端存储无关。利用StackFS也可以纯测试Alluxio FUSE的服务能力，因为StackFS不与后端存储 Alluxio 通信。

鸣谢

感谢Alluxio范斌和邱璐，阿里巴巴车漾在Alluxio FUSE的贡献，以及本文章测试数据的贡献。

引用

  • https://docs.alluxio.io/os/user/edge/en/api/POSIX-API.html#configure-mount-point-options
  • https://github.com/opendataio/hcfsfuse
  • https://developer.aliyun.com/article/765736
  • https://www.youtube.com/watch?v=DMkxu_v-9vA
  • https://www.oracle.com/technetwork/java/jvmls2013nutter-2013526.pdf
  • https://sudonull.com/post/97408-Writing-a-Wrapper-for-FUSE-in-the-Java-Native-Runtime
  • https://segmentfault.com/a/1190000016793722
Alluxio
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
博客
对比速览 | Alluxio 企业版 v.s. 社区版
08-06 521
当前诸多企业面临着日益增长的数据量和复杂的数据管理挑战。特别是在模型训练的过程中，诸如GPU短缺、GPU利用率不高等问题已经成为许多企业在技术实施中面临的挑战。同时，大数据分析中跨云数据访问速度慢、成本高等问题也给企业带来了痛点。为了应对这些挑战，企业们积极寻求更便捷的数据管理和模型训练加速解决方案。Alluxio企业版提供了针对商业级需求的增强功能和支持。企业版不仅仅是Alluxio社区版的延伸，更是为了满足企业级应用中的稳定性、安全性和性能需求而设计的高阶解决方案。
博客
案例分享｜Alluxio在自动驾驶数据闭环中的应用
08-02 984
分享嘉宾：孙涛 - 中汽创智智驾工具链数据平台开发专家。分享提纲：1. 自动驾驶数据闭环介绍；2. Alluxio 在采集标注训练以及合规平台的一些应用场景；3. 目前存在的问题以及未来规划。
博客
XSKY对象存储深度结合Alluxio分布式缓存系统，GPU利用率提高至90%以上
06-05 1057
近日，Alluxio分布式缓存系统完成了与XSKY星辰天合的 XEOS V6.4 对象存储的兼容性测试，旨在解决数据管理和加速方面的挑战。双方进行了深度的产品对接和联合开发，将 Alluxio 分布式缓存系统与 XEOS 对象存储的众多应用特性进行结合，推出一体化存储联合方案，以更好地支持 AI 场景下的数据管理和加速需求。近年来，随着 AI、大数据的逐渐推广和完善，特别是 AI 大模型（LLM、多模态、文生视频等）的广泛推广，超大数据量的存储以及访问已经成为了企业面临的一个重大的技术以及成本挑战。
博客
案例分享｜Alluxio在自动驾驶模型训练中的应用与部署
05-21 1018
杨林三-辉羲智能辉羲智能致力打造创新车载智能计算平台，提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案，运用独创性“数据闭环定义芯片”方法学，助力车企构建低成本、大规模和自动化迭代能力，实现优质高效的自动驾驶量产交付，引领数据驱动时代的高阶智慧出行。创业公司中，如何使用Alluxio？从0-1使用 Alluxio 的过程（调研-部署-上生产）。实践经验分享。《 Alluxio 在自动驾驶模型训练中的应用与部署》下文为完整文字版分享内容。
博客
OPPO案例 | Alluxio在Data&AI湖仓一体的实践
03-22 1027
在OPPO的实际应用中，我们将自研的Shuttle与Alluxio完美结合，使得整个Shuttle Service的性能得到显著提升，基本上实现了性能翻倍的效果。通过这一优化，我们成功降低了约一半的系统压力，同时吞吐量也直接翻倍。这样的结合不仅解决了性能问题，更为OPPO的服务体系注入了新的活力。完整文字版分享内容↓《Alluxio在Data&AI湖仓一体的实践》上图是OPPO目前的整体架构，主要分为两部分：1、Data2、AIOPPO在数据领域主要专注于结构化数据，即通常使用SQL处理的数据。
博客
数据本地性如何助力企业在云上实现高效机器学习
03-22 947
对于模型训练而言，为提高模型准确性，通常需要进行多个epoch训练，因此数据读取所花费的时间可能比实际用于模型训练计算所花费的时间要长得多。通过就近存放并访问所需数据，减少了数据移动上的耗时，可将更多的时间用于高效计算。√ 新的解决方案——Alluxio DORA，采用分布式缓存架构，利用去中心化的一致性哈希以及软亲和调度算法来优化数据存放，既能保持高可用性也能提高本地性；√ 包括直接访问远端数据、拷贝数据和使用本地缓存层在内的现有解决方案各有利弊，但都难以将提供的数据本地性提升到更大或者超大的规模；
博客
超算互联网统一存储平台技术研究
03-08 1002
还有一些复杂的应用场景，比如海洋气象遥感这些领域，他们本身的操作流程就比较复杂，可能数据存储在一个地方，需要流转到另一个地方进行数据的预处理，模拟仿真、模型训练等操作，但是这些操作又可能要在不同的平台上进行，甚至要在不同的区域进行，如果没有一个一体化的服务平台，很难行得通，很难精通所有平台的使用方式，这些问题和挑战也是我们打造超算互联网核心要解决的。再就是数据的预取，也就是数据缓存机制的优化，包括预取的设计、关联规则，还有比较重点的，我们想做分层存储，这是后续要做的事情。
博客
实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍
01-12 1306
现在我们上边的部署计算节点是358个，3PB的存储，56000多核的一个VCPU，目前跑在上面的智能应用大概4600+，上云的系统41个，以及我们现在连接的设备数是1664万，大量的设备已经把数据传输到云上。这个方案我认为是现在我们在央企里边比较核心的一套体系，能让全集团所有我们认为重要的数字化资源能够真正的统一集中，它的统一集中并不是要掌管它、监控它，而是让存储、计算、数据、应用、技术能力，能够在全集团范围内最大化流动起来，让大家最大化使用这些资源，这才是我们的最终目标。
博客
Alluxio AI 全新产品发布：无缝对接低成本对象存储 AI 训练解决方案
10-20 211
（2023 年 10 月 19 日，北京）Alluxio 作为一家承载各类数据驱动型工作负载的数据平台公司，现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。Alluxio Enterprise AI 平台可综合优化企业 AI 和分析基础设施的性能、数据可访问性、可扩展性和成本效益，助力生成式 AI、计算机视觉、自然语言处理、大语言模型和高性能数据分析等下一代数据密集型应用的发展。
博客
实录分享 | Alluxio 在网易大数据的应用与优化
10-16 499
在 Impala 的文件句柄缓存机制中，Impala 读取文件时，会首先判断是否缓存了文件句柄，如果没有就调用 Open 方法向 Master 发起请求以获取文件的元数据信息（如文件的长度，文件块的位置信息等），此后会向 Worker 发起读取请求并调用 read 方法读取数据块，此后会调用 unbuffer 方法并缓存文件句柄，最后会返回读取的数据；网易利用了 UFS 对象存储的批量删除接口，通过合并删除请求批量删除对象，此时整体的 rpc 调用会减少很多，以此来优化 Rename 的整体性能。
博客
实录分享 | Alluxio在AI/ML场景下的应用
09-01 639
其次就是我们不希望大家专门买一套硬件解决方案，在加入Alluxio之前，我所在的实验室是一直在做HPC的，HPC有一个很大的问题就是他的成本非常高，买1套HPC通常可以买10套Hadoop硬件，或者是云上的存储硬件，所以如果需要购买一套专有的硬件搭建AI Infra 架构，是事倍功半的，成本非常昂贵，看到这个场景后，我们提出还是希望可以直接在数据湖上构建AI和ML的数据通路，可以不更改存储系统，同时可以利用已有的，不需要额外购买IDMA这种硬件，就可以支撑训练的需求，这是我们的愿景。
博客
突破大模型 | Alluxio助力AI大模型训练-成功案例（一）
08-15 945
其实从 2022 年的下半年我们就开始调研 Alluxio 了，但是因为种种原因，中途搁置了一段时间，导致 Alluxio 推迟到今年才上线。在我们调研与上线的过程中，Alluxio 社区是我们最强大的外援，为我们提供了海量的帮助。本次我们在算法场景对 Alluxio 小试牛刀，取得的结果令人十分惊喜。从性能上讲，在算法模型上线的场景，我们将 UnionStore 用 Alluxio 替换后，最高能够获得数十倍的性能提升；
博客
实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况
08-14 819
在Grafana中，我们可以使用Prometheus采集的数据，用PromQL筛选出所需的数据，在Web UI界面可绘制种类丰富的图像，如折线图、柱状图、热图等。Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底的颠覆，形成了基于中央化的规则计算、统一分析和告警新模型。Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底颠覆，形成了基于中央化的规则计算、统一分析和告警新模型。可以在任何环境搭建我们的监控系统。
博客
实录分享 | Alluxio Operator一体化部署方案
06-25 653
当我们创建了一个 Presto 资源后，自定义的controller仍然要监控资源的状态，如果资源的状态被更新了（比如Presto的镜像被更新了），那么它也需要根据更新之后的状态和当前状态进行对比，之后controller 要去做的事情就是自动更新它所创建的相关资源，而我们则无须关心要更新哪些内置的deployment和service。比如，基于前面Level 4所收集的指标进行分析后，发现应用在白天的请求较多，而晚上较少，则Operator可以自动根据请求的数目去做扩缩容，自动地去修改pod的副本数。
博客
如何挖掘闲置硬件资源的潜力-PrestoDB缓存加速实践小结
05-09 873
以前使用PrestoSql的时候，遇到过同步缓存的线程死锁，原因是同步元数据的代码里有获取其他元数据实体缓存的逻辑，比如loadPartitionByName会先调用getTable方法，如果表缓存过期了且同步线程用满了就可能发生死锁。实现基于guava cache，将hive metastore的表，分区等元数据信息缓存在内存中，通过刷新时间，过期时间和缓存实体的上限数的配置来控制数据的有效性和容量上限。所以我们需要严格保证元数据有效性的集群，比如做批任务数据质量校验的，就不开启元数据缓存。
博客
Alluxio跨集群同步机制的设计与实现
03-23 667
随着数据量的增长，这些数据的存储和访问方式也变得越来越复杂。例如，数据可能位于不同的存储系统中（S3、GCP、HDFS 等），也可能存储在云上或本地，或是位于不同的地理区域，还可能因为隐私或安全保护，被进一步隔离。此外，这些复杂性不仅体现在数据存储上，还包括如何将数据用于计算，例如，数据可能存储在云上，而计算则在本地进行。Alluxio 是一个数据编排平台，通过在 UFS 上提供统一的访问接口来降低此类复杂性，并通过提供数据本地性和缓存来提高计算性能。
博客
如何借力Alluxio推动大数据产品性能提升与成本优化？
02-09 532
综合亚马逊云、阿里云的存储、数据传输和服务器成本，使用对象存储系统的开销要比HDFS低很多，而使用 Alluxio 可十分方便地接入各种存储系统，这无疑意味着可大大降低企业运营成本。想要了解更多关于Alluxio的干货文章、热门活动、专家分享，可点击进入【Alluxio智库】参考。
博客
2023年五大趋势预测 | 大数据分析、人工智能和云产业展望
01-19 2228
尽管数据共享目前尚未普及，处于早期阶段，但是，以数据共享为核心的生态体系，包括为数据消费者和数据提供者的基础设施、交易能力和服务，都将在 2023 年得到长足的发展。在云上部署数据密集型负载的企业需重新评估其云战略，更加关注成本优化，根据现有或新项目的ROI（投资回报率）和TCO（总拥有成本）来进一步审视企业的云开销。此外，随着大模型不断升级优化，研发人员将需要找到更多新的方法，用来把更多的大模型和实际的应用场景结合起来。越来越多的企业会优化其架构，以避免遭到超出预期的数据出口成本的冲击。
博客
Alluxio 2022技术干货年终大赏
01-14 668
2022，我们积累了很多应用案例，邀请了很多嘉宾参与了我们的社区直播活动17场主题活动（Alluxio Day、Meetup、Datafun Summit等）44位嘉宾44个主题（来自一线大厂的实战者）2000+分钟的分享时长（内容涵盖【金融】【互联网&科技】【大数据】【通信】【电商】【出行】【人工智能】等热门行业）点击标题即可观看。
博客
从“少林寺”毕业后，我当上了开源社区“区长”
01-04 268
有了这层标准之后，提供计算的厂商和用户都可以轻松自如地做他们想要做的事情，而不用去关心具体的数据是怎么获得的，或者它是在一个什么样的服务里边怎样设置的。这一期间，我非常有幸能和很多世界级的专家、学者以及一流的同学一起共事，这个宝贵的经历使得我的专业水平以及对领域的认识都得到了相当大的提升。我作为Alluxio开源社区的co-chair，我的任务是如何把这个社区里的用户、代码修改的贡献者以及有能力去做整个项目演进的资深开发者很好的组织起来，使大家都能各取所需，并在项目中充分发挥自己的作用。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值