你不知道的开源分布式存储系统 Alluxio 源码完整解析（上篇）

最新推荐文章于 2022-07-22 19:17:00 发布
最新推荐文章于 2022-07-22 19:17:00 发布
阅读量615 收藏 3
点赞数 1
文章标签： 分布式 大数据 hadoop java python
原文链接：https://mp.weixin.qq.com/s?__biz=MzkyNTI1MjA3NQ==&mid=2247487418&idx=1&sn=40e775399b5b417b4c75ceb834b256bb&chksm=c1c82f3ef6bfa62804bcdea87c7d03e9a597bc828ffac4064b4ffd997d84adb865d0db567208&scene=126&&sessionid=0
版权

4611f148dfa16775acceb2d662cc6841.gif


PART ONE

前言

目前数据湖已成为大数据领域的最新热门话题之一，而什么是数据湖，每家数据平台和云厂商都有自己的解读。整体来看，数据湖主要的能力优势是：集中式存储原始的、海量的、多来源的、多类型的数据，支持数据的快速加工及计算。相比于传统的数据仓库，数据湖对数据有更大的包容性，支持结构化/半结构化/非结构化数据，能快速进行数据的落地和数据价值发掘。数据湖的技术体系可以分为三个子领域：数据湖存储、数据湖计算、数据湖统一元数据。

数据湖存储提供海量异构数据的存储能力，支持多类型的底层存储系统，如分布式存储 HDFS、对象存储 AWS S3、腾讯云对象存储 COS 等，除此之外，在数据湖场景中计算和存储分离，使得计算的数据本地性不复存在。因此有必要在数据湖存储和计算之间引入统一的数据缓存层。

Alluxio是一款基于云原生开源的数据编排技术，为数据计算与数据存储构建了桥梁，支持将数据从原始存储层移动到加速计算的虚拟分布式存储系统。Alluxio可为数据湖计算提供统一的数据湖存储访问入口，支持跨不同类型的底层存储并抽象出统一的数据访问命名空间，提供数据本地性、数据可访问性、数据伸缩性。

本文将对 Alluxio 底层源码进行简要分析，分上下两篇：主要包括本地环境搭建，源码项目结构，服务进程的启动流程，服务间RPC调用，Alluxio 中重点类详解，Alluxio 中 Block 底层读写流程，Alluxio Client调用流程和 Alluxio 内置的轻量级调度框架。

PART TWO

环境准备

2.1. 本地部署

从官方下载安装版本(下载地址)，以2.6.0安装为例，下载后解压安装包：

tar -zxvf alluxio-2.6.0-bin.tar.gz

修改基本的配置文件，(1). 修改alluxio-site.properties，设置master地址，设置默认Alluxio root挂载点

cp conf/alluxio-site.properties.template  alluxio-site.properties
#放开注释：
alluxio.master.hostname=127.0.0.1
alluxio.master.mount.table.root.ufs=${alluxio.work.dir}/underFSStorage

(2). 修改masters、workers配置对应ip，本地安装，可都设置为127.0.0.1

vi conf/masters
vi conf/workers

修改完配置后，准备启动Alluxio服务，执行如下命令操作：

# mount对应磁盘
bin/alluxio-mount.sh Mount workers
# 进行环境校验
bin/alluxio validateEnv master
bin/alluxio validateEnv worker

服务启动命令操作，对于所有服务操作包括：master、worker、job_master、job_worker、proxy

# 启动所有服务
bin/alluxio-start.sh all
# 停止所有服务
bin/alluxio-stop.sh all


# 启动单个服务
bin/alluxio-start.sh -a master
bin/alluxio-start.sh -a worker
bin/alluxio-start.sh -a job_master
bin/alluxio-start.sh -a job_worker
bin/alluxio-start.sh -a proxy

启动后服务成功，也可通过JPS查看Java进程：AlluxioMaster、AlluxioWorker、AlluxioJobMaster、AlluxioJobWorker、AlluxioProxy。

94bccc244a95dac6a423d02222cd1251.png

  • http://localhost:19999，页面查看alluxio master ui界面，默认端口：19999

  • http://localhost:30000，页面查看alluxio worker ui界面，默认端口：30000

56d113ee78fc59a577c5714ced196579.png


2.2. IDEA调试

源码编译可参考官方说明文档：Building Alluxio From Source

mvn clean install -DskipTests
# 加速编译
mvn -T 2C clean install -DskipTests -Dmaven.javadoc.skip -Dfindbugs.skip -Dcheckstyle.skip -Dlicense.skip -Dskip.protoc

通过IDEA启动Alluxio各个服务进程，其核心启动类包括：

  • AlluxioMaster：Main函数入口，设置启动运行VM Options，alluxio.logger.type=MASTER_LOGGER，RPC端口：19998，Web端口：19999；

  • AlluxioJobMaster：Main函数入口，设置启动运行VM Options，alluxio.logger.type=JOB_MASTER_LOGGER

  • AlluxioWorker：Main函数入口，设置启动运行VM Options，alluxio.logger.type=WORKER_LOGGER，

  • AlluxioJobWorker：Main函数入口，设置启动运行VM Options，alluxio.logger.type=JOB_WORKER_LOGGER

  • AlluxioProxy：Main函数入口，设置启动运行VM Options，alluxio.logger.type=PROXY_LOGGER

VM Options参数示例如下：

-Dalluxio.home=/code/git/java/alluxio -Dalluxio.conf.dir=/code/git/java/alluxio/conf -Dalluxio.logs.dir=/code/git/java/alluxio/logs -Dlog4j.configuration=file:/code/git/java/alluxio/conf/log4j.properties -Dorg.apache.jasper.compiler.disablejsr199=true -Djava.net.preferIPv4Stack=true -Dalluxio.logger.type=MASTER_LOGGER -Xmx2g -XX:MaxDirectMemorySize=516M

操作示例如下：

6a69b77b9ddcccdcd3c53bd7bdea3413.png

在项目根目录 logs下可查看服务启动的日志文件：

43c8d8eec6b3f42212624e6ab9262e4c.png

DEBUG远程调试，在alluxio-env.sh 配置环境变量，可增加如下配置属性

export ALLUXIO_WORKER_JAVA_OPTS="$ALLUXIO_JAVA_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=6606"
export ALLUXIO_MASTER_JAVA_OPTS="$ALLUXIO_JAVA_OPTS -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=6607"
export ALLUXIO_USER_DEBUG_JAVA_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=6609"

如下图所示，增加远程的监控端口，监控Alluxio Worker 6606：

26996625c78d55373bcd9cdd82289b75.png

调用Alluxio Shell命令时开启DEBUG的输出，使用参数：-debug，示例如下：

bin/alluxio fs -debug ls /

PART THREE

项目结构

Alluxio源码的项目结构可简化如下几个核心模块：

  • alluxio-core：实现Alluxio系统的核心模块，其中alluxio-core-server内实现Alluxio Master、Alluxio Worker、Alluxio Proxy；alluxio-core-client定义Alluxio Clien操作；alluxio-core-transport 实现服务间RPC通信；

  • alluxio-job：Alluxio内部轻量级作业调度实现，alluxio-job-server内实现 Alluxio Job Master、Alluxio Job Worker；

  • alluxio-underfs：适配对接不同的底层存储，如hdfs、cephfs、local、s3等；

  • alluxio-table：实现Alluxio Catalog功能，基于table引擎读取元数据并支持关联Alluxio存储，目前catalog的底层UDB支持hive metastore和aws glue catalog；

  • alluxio-shell：封装Alluxio shell工具；

0bcae72ccb822ca3911ac8fb92a692fc.png


PART FOUR

服务进程

Alluxio服务内部的5个核心进程：AlluxioMaster、AlluxioWorker、AlluxioProxy、AlluxioJobMaster、AlluxioJobWorker 都是基于Process(进程)接口类扩展实现的，定义组件进程的生命周期管理操作。

类图实现继承关系如下所示：

87184f8ca96713dbdb658e118da00423.png



4.1 AlluxioMaster


4.1.1. 启动流程

  • 基于JournalSystem维护Master元数据持久化信息，便于服务宕机后，从最新的Journal File恢复，详见Journal Management；

  • 进行AlluxioMaster选举，Master选举支持两种方式：ZK、Raft(RaftJournalSystem)；

  • 基于ProcessUtils进行进程启停管理触发，执行AlluxioMasterProcess 启动

    • JournalSystem 启动/设置主要执行模式(gainPrimacy)

    • AlluxioMasterProcess#startMasters：启动所有Master相关服务，包括block master、FileSystem master等；若是leader，则调用BackupManager#initFromBackup初始化所有注册master server组件，若不是leader则仅启动Master的RPC/UI服务

    • AlluxioMasterProcess#startServing：启动指标相关服务，包括Web、JVM、RPC相关的指标；

启动时序图简化如下所示：

b269e25f39bfa0126f39fcd4bf98ca52.png

4.1.2. Server接口类

特别的，初始化并启动的Server接口类组件，主要包括Master类和Worker类，Server会从线程池获取线程，启动执行各个Server定义的操作，server中定义服务线程的生命周期操作，定义的接口方法如下：

  • getName：获取该Server名称；

  • getDependencies：该Server依赖的其他前置Server；

  • getServices：获取Server定义的GrpcService集合；

  • start：Server启动；

  • stop：Server停止；

  • close：Server关闭；

7e85e964c61246882ebb78b74a0bdf42.png


4.1.3. Master Server

定义Master组件中封装的各个线程Server服务，包括Block元数据管理，文件系统管理等，其细化类图如下所示：

5b1d61a698a8deff825a340267143fad.png


4.1.3.1. DefaultFileSystemMaster

Alluxio Master处理系统中所有文件系统元数据管理的Server服务，基于DefaultFileSystemMaster可对文件执行Lock(加锁)操作，为了对任意inode进行读写操作，需要对 inode tree中的每个独立路径进行加锁。InodeTree对象提供加锁方法有：InodeTree#lockInodePath、InodeTree#lockFullInodePath，方法返回已被加锁处理的LockedInodePath 路径对象。

在DefaultFileSystemMaster中常用的上下文对象：JournalContext, BlockDeletionContext, RpcContext；用户对文件元数据的访问(方法调用)都有一个独立的线程进行审计日志记录及管理。

备注：当获取inode path时，可能存在并发操作对该path进行写变更操作，那么读取inode path会抛出异常，提示path的数据结构已变更。

DefaultFileSystemMaster start启动流程概述：

  • 基于InodeTree初始化文件系统根目录(initializeRoot)并判断是否有该文件系统权限；

  • 遍历MountTable，初始化MasterUfsManager并进行文件系统挂载Mount操作；

  • 提交不同的HeartbeatThread(心跳线程) 进行各个检测校验，最终调用HeartbeatExecutor.heartbeat方法，其心跳检测包括：

    •  BlockIntegrityChecker：Block完整性校验

    • InodeTtlChecker：File Inode TTL 生命周期校验

    • LostFileDetector：丢失文件探测

    • ReplicationChecker：副本数校验

    • PersistenceSchedule：持久化调度

    • PersistenceChecker：持久化校验

    • TimeSeriesRecorder：时间序列记录

    • UfsCleaner：UFS清理器

52056fc732c6d86425e95c5a206477fe.png

附：HeartbeatExecutor的类图概要

cbe01f8b8316a5f4be90ad7d17e813bf.png


4.1.3.2. DefaultBlockMaster

Alluxio Master中管理所有Block和Worker映射元数据的Server服务。

为保证并发请求，BlockMaster Server使用支持并发的数据结构，每个元数据都可以进行独立的加锁操作。在BlockMaster中有两大类元数据：block metadata(block块元数据)，worker metadata(worker节点元数据)：

  • block metadata 加锁操作：基于block执行任意的BlockStore操作，从mLostBlocks中移除元素；

  • worker metadata 加锁操作：校验/更新worker注册状态，读/写worker使用率，读/写worker上的block管理；

为避免死锁操作，如果block和worker元数据需要同时加锁，worker需要在block之前加锁，释放锁时则相反，block需要在worker之前释放锁。

start启动流程概述：提交HeartbeatThread(心跳线程) 进行检测校验，提交的线程是：LostWorkerDetectionHeartbeatExecutor，对worker的心跳进行检测。

4.2. AlluxioWorker

4.2.1. 启动流程

  • 通过MasterInquireClient.Factory 获取Alluxio Master的地址和相关配置信息；

  • 创建AlluxioWorkerProcess进程对象，并执行start方法，具体如下：

    • 通过WorkerRegistry获取Worker上的所有Worker Server服务，并启动相应的Server；

    • 注册WebServer Handler，并启动，包括通用指标和Prometheus指标；

    • 注册JvmPauseMonitor，采集worker节点相关的JVM监控指标信息；

  • 如果Worker内嵌FUSE服务，则启动FuseManager

0d91234cb9cf1fb0f14e0c5279ed7d42.png


4.2.2. Worker Server

3029f0f3824d9378bd705fa55abb00b3.png


4.2.2.1. DefaultBlockWorker

负责管理Worker节点中最高层级的Block抽象操作，包括：

  • 周期性的BlockMasterSync，将当前Worker节点的Block信息周期定时上报同步给Master；

  • 维护当前Worker所有Block信息与底层存储操作的逻辑关系；

start启动流程概述：通过BlockMasterClientPool获取BlockMaster RPC地址并注册，基于ExecutorService提交Worker节点的HeartbeatThread线程，包括：

  • BlockMasterSync：将Worker节点Block信息定时同步BlockMaster进行统一block元数据管理；

  • PinListSync：维护Alluxio与底层UFS的联通地址；

  • StorageChecker：校验存储地址；


4.3. AlluxioProxy

4.3.1. 启动流程

  • 基于ProxyProcess.Factory 创建对应的进程对象：AlluxioProxyProcess；

  • 创建AlluxioProxyProcess进程对象后，执行start方法，调用ProxyWebServer执行start方法，启动Proxy Web服务；

afcbe5c7ea643d3fbdf5e7ec82832a88.png

4.4. AlluxioJobMaster


4.4.1. 启动流程

  • 基于AlluxioJobMasterProcess.Factory创建对应的进程对象：AlluxioJobMasterProcess；

  • AlluxioJobMasterProcess执行start方法，调用细节如下：

    • 启动AlluxioJobMaster关联的JournalSystem，并获取Master Leader；

    • 启动Job的Server服务，调用JobMaster start；

    • 分别启动JobMaster的Web Server和RPC Server，提供对外通信服务；

7a523445dfa3dc109158800718af686a.png


4.4.2. JobMaster

Alluxio内置轻量级的作业调度框架，JobMaster处理AlluxioJobMaster中所有job管理相关操作。

start启动流程概述：基于PlanTracker获取上一次调度系统中遗留的所有运行中执行计划并停止，提交HeartbeatThread(心跳线程) 进行监测，提交的进程是：LostWorkerDetectionHeartbeatExecutor，用于检测心跳丢失的Worker节点；


4.5. AlluxioJobWorker

4.5.1. 启动流程

  • 通过MasterInquireClient.Factory 获取Alluxio Master的地址和相关配置信息；

  • 创建AlluxioJobWorkerProcess进程对象，并执行start方法，具体如下：

    • 注册WebServer Handler并启动JobWorkerWebServer，提供Web服务；

    • 启动JobWorker的Server服务 JobWorker，注册job worker节点，并提交心跳检测线程CommandHandlingExecutor；

    • 启动RPC服务于外部通信。

f68616fa8be32d542bcc7df08a18b031.png


4.5.2. JobWorker

负责管理Worker节点中执行任务相关的所有操作，通过CommandHandlingExecutor 心跳检测执行进程实现。

start启动流程概述：向JobWorkerIdRegistry注册当前worker节点信息，提交HeartbeatThread(心跳线程) 进行监测，提交的线程是：CommandHandlingExecutor，处理JobWorker节点所接受的Command命令。



PART FIVE

RPC框架

Alluxio是分布式存储缓存系统，服务之间的通信经过RPC调用，其内部采用了grpc框架实现，在子项目alluxio-core-transport中定义RPC的proto文件。以AlluxioMaster为例，详述RPC启动调用流程：AlluxioMaster进程启动的时候，会启动grpc server 对外提供接口服务，其中Server(Master服务)中定义各个Server待注册启动的RPC服务，所有RPC服务注册到GrpcServerBuilder后，基于GrpcServerBuilder.build生成GrpcServer并启动。

dc8d4ea67ce4adea0cb21dbe4567c6b7.png

Master RPC和Worker RPC注册服务，都是基于Handler实现grpc定义的方法，如下所示：

2ee75f1e8d8e877dcc9ffa08c9255534.png

《Alluxio-源码简析》下篇更精彩哦，已同步更新。

44d5653c1263a39e9a7953ecf4e8fdfe.png

欢迎关注「腾源会」公众号，期待你的「在看」哦～👇

腾源会
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Alluxio java 客户端demo
09-25
一个简单的Alluxio java 客户端代码，包含文件创建，读取，删除等
开源的轻量级分布式文件系统
03-14
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
分布式存储Seaweedfs源码分析
weixin_30566149的博客
06-13 322
基于源码版本号 0.67 ， 【Seaweedfs以前旧版叫Weedfs】。 Seaweedfs是一个非常优秀的由 golang 开发的分布式存储开源项目， 虽然在我刚开始关注的时候它在 github.com 上面只有 star 50+， 但是我觉得这个项目是一个几千 star 量级的优秀开源项目。Seaweedfs的设计原理是基于 Facebook 的一篇图片存储系统的论文F...
【分布式缓存源码分析】总结篇
Kaimar的博客
03-24 1025
文章目录1.流程1.1 流程回顾1.2 远程访问分布式节点2.参考 上一节解决了访问哪个节点的问题，即选择哪个分布式节点获取缓存值，本节实现分布式节点注册和与远程节点的服务端通信。 1.流程 1.1 流程回顾 是 接收 key --> 检查是否被缓存 -----> 返回缓存值 ⑴ | 否 是 |-----> 是否应当从
Alluxio : 开源分布式内存文件系统
djph26741的博客
06-17 379
Alluxio : 开源分布式内存文件系统 Alluxio is a memory speed virtual distributed storage system.Alluxio是一个开源的基于内存的分布式存储系统，现在成为开源社区中成长最快的大数据开源项目之一。 公司简介： 由项目的创建者李浩源以及来自UC Berkeley, Google, CMU, Pa...
Alluxio:云的开源数据编排-开源
04-15
Alluxio是世界上第一个用于分析和用于云的AI的开源数据编排技术。 它弥合了计算框架和存储系统之间的鸿沟，使来自存储层的数据更靠近数据驱动的应用程序。 这使应用程序可以通过公共接口连接到众多存储系统。 它使数据本地化，更易于访问并且像计算一样具有弹性。
基于C和Shell的开源分布式版本控制系统设计源码 - Git
05-29
本源码提供了一个基于C和Shell的开源分布式版本控制系统的设计。项目包含4467个文件，其中包括1225个Shell文件、897个文本文件、579个C文件、316个H文件、87个Expect文件、72个Test文件、55个PO文件、41个Tcl文件、...
基于Hadoop的分布式文件存储系统源码.zip
12-13
基于Hadoop的分布式文件存储系统源码.zip 基于Hadoop的分布式文件存储系统源码 调用HDFS的接口
基于机器学习的分布式检测系统源码.zip
最新发布
06-12
基于机器学习的分布式检测系统源码.zip基于机器学习的分布式检测系统源码.zip基于机器学习的分布式检测系统源码.zip基于机器学习的分布式检测系统源码.zip基于机器学习的分布式检测系统源码.zip基于机器学习的分布式...
基于Java的自研分布式小文件存储系统设计源码
04-06
本资源提供了一套基于Java的自研分布式小文件存储系统的设计源码，包含272个文件，其中包括183个Java源代码文件，26个PNG图片文件，以及15个JavaScript脚本文件。此外，还包括12个XML配置文件，6个Git忽略文件，5个...
360开源的高性能分布式存储服务 HustStore.zip
07-19
HustStore- 高性能分布式存储服务huststore 是一个高性能的分布式存储服务，不但提供了 10w QPS 级别的 kv 存储的功能，还提供了 hash、set 等一系列数据结构的支持，并且支持 二进制 的 kv 存储，可以完全取代 Redis 的功能。此外，huststore 还结合特有的 HA 模块实现了分布式消息队列的功能，包括消息的流式推送，以及消息的 发布-订阅 等功能，可以完全取代 RabbitMQ 的功能。特性huststore 分为 hustdb 以及 HA 模块两大部分。hustdb （存储引擎）的底层设计采用了自主开发的 fastdb，通过一套独特的 md5 db 将QPS 提升至 10w 级别的水准（含网络层的开销）。HA 以 nginx 模块的方式开发。nginx 是工业级的 http server 标准，得益于此，huststore 具备以下特性：高吞吐量hustdb 的网络层采用了开源的 libevhtp 来实现，结合自主研发的高性能 fastdb 存储引擎，性能测试 QPS 在 10w 以上。高并发参考 nginx 的并发能力。高可用性huststore 整体架构支持 Replication (master-master)，支持 load balance 。HA 的可用性由nginx 的 master-worker 架构所保证。当某一个 worker 意外挂掉时， master 会自动再启动一个 worker 进程，而且多个 worker 之间是相互独立的，从而保证了 HA 的高可用性。huststore 的高可用性由其整体架构特点保证。由于 hustdb 的存储节点采用了 master-master 的结构，当某一个存储节点挂掉时，HA 会自动将请求打到另外一台 master，同时 HA 会按照自动进行负载均衡，将数据分布存储在多个 hustdb节点上，因此存储引擎不存在单点限制。同时 HA 集群本身也是分布式的设计，而且每个 HA 节点都是独立的，当某一台 HA 挂掉时， LVS 会自动将请求打到其他可用的 HA 节点，从而解决了 HA 得单点限制。通用性的接口huststore 使用 http 作为通用协议，因此客户端的实现不限制于语言。支持二进制的 key-value架构设计运维架构存储引擎设计依赖leveldblibcurllibevhtpzlog 标签：360  分布式存储
Go-wfs是分布式文件存储系统
08-13
wfs是文件存储系统，主要是解决海量文件存储的问题,特别是小文件存储,原则上是简单易用,可扩展及备份恢复
turingkv:基于Raft分布式存储系统实现
03-11
turingkv介绍 turingkv是一个基于Raft一致性算法的分布式kv存储系统，使用leveldb作为存储引擎 系统架构 代理人 负责分发客户端的请求到特定的raft-group，并记录密钥的路由信息​​，接收zk实现服务发现。 节点 一个物理上游，可以同时运动运行多个属于不同group的raft进程 团体 一个raft进程组，默认为3副本 商店引擎 上游的存储引擎，实现了LevelDB，接下来实现RocksDB，实现存储引擎的插拔。 运行单机测试 编译，进入raft-kv根目录 sh build.sh 运行 sh run.sh 设置键值 curl 'http://leader地址:leader api端口/keys/some-key/' -H 'Content-Type: application/json' -d '{"value": "some-value"}' 获取密钥值
一款Java分布式KV存储系统源码.zip
05-20
一款Java分布式KV存储系统源码.zip
【ceph】ceph分布式存储MDS(各种状态、源码)
小鱼菜鸟的博客
07-22 971
目录 1. mds存储 2. mds冷备/热备 3. mds主备切换策略 4. 节点失效机制 5. 恢复过程 6. resolve阶段的事件 7. 重建分布式缓存和锁状态 Ceph MDS States状态详解 常见状态 不太常见的或过渡状态 失败状态 状态图 MDS源码分析 compat fs 运维 up ceph xx ...
Spring Boot入门教程：分布式文件系统 FastDFS
人不风流枉少年
08-29 475
一：简介 FastDFS 是使用C语言编写的分布式文件系统(Distributed File System)，用于存储海量文件的（如图片等），能够快速实现文件上传和下载功能。性能高复杂读低。常见分布式系统有NFS、GFS、HDFS等。 单台计算机存储文件的缺点： 单台计算机存储的文件大小是有效的 单台计算机读写速度也是有限的 单台计算机没有备份功能，如果挂掉则整个服务就停止了。 分布式文件系统 通过网络将多台计算机连接起来，每台计算机都可以对外服务，也可以进行文件备份，当服务不够时可以再增加计算机来增加服务
Alluxio 1.5.0开源发布版的技术亮点
Alluxio的博客
08-16 1482
开源Alluxio 1.5.0已经发布了大量的新功能和改进。
Alluxio简介
weixin_46307478的博客
12-12 4435
Alluxio简介 Alluxio概览 - Alluxio v2.6.1 (stable) Documentation 1.介绍 Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio内存至上的层次化架构使得数据的访问速度能比现有方案快几个数量级。 在大数据生态系统中，Alluxio 位于数
专访范斌，谈开源三年后的Alluxio
imgxr的博客
07-28 988
在Alluxio（前Tachyon）项目开源三年后的今天，全世界已经有超过300名贡献者参与到项目当中，其中包括Intel，百度，去哪儿等100多家公司。仅仅在去年，它的代码贡献人数就比以往翻了三倍。Alluxio项目已经成为大数据领域内历史上成长最快的项目之一。 本期被访嘉宾——范斌（@apc2）：Alluxio公司软件工程师，也是Alluxio开源项目的管理委员会（PMC）成员。曾在Mi...
黑帽seo零距离泛目录站群系统二次开发版完整源码分享,最强泛解析站群开源无限制版
07-24
对于黑帽SEO零距离泛目录站群系统二次开发版完整源码分享和最强泛解析站群开源无限制版，我个人认为这样的技术和源码分享是非法和不道德的。 所谓黑帽SEO是指一些违反搜索引擎规则和伦理道德的优化手段，目的是为了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值