Alluxio
文章平均质量分 59
lipeng_bigdata
这个作者很懒,什么都没留下…
展开
-
Alluxio简介
Alluxio是一个基于内存的分布式文件系统,它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件,主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。原创 2016-03-21 17:16:44 · 41466 阅读 · 9 评论 -
Alluxio源码分析:RPC框架浅析(二)
Alluxio源码分析是一个基于内存的分布式文件系统,和HDFS、HBase等一样,也是由主从节点构成的。而节点之间的通信,一般都是采用的RPC通讯模型。Alluxio中RPC是基于何种技术如何实现的呢?它对于RPC请求是如何处理的?都涉及到哪些组件?本文将针对这些问题,为您一一解答。原创 2016-03-25 15:41:51 · 3359 阅读 · 1 评论 -
Alluxio源码分析:RPC框架浅析(三)
Alluxio源码分析是一个基于内存的分布式文件系统,和HDFS、HBase等一样,也是由主从节点构成的。而节点之间的通信,一般都是采用的RPC通讯模型。Alluxio中RPC是基于何种技术如何实现的呢?它对于RPC请求是如何处理的?都涉及到哪些组件?本文将针对这些问题,为您一一解答。原创 2016-03-25 16:15:21 · 2426 阅读 · 1 评论 -
Alluxio源码分析定位策略:循环遍历策略RoundRobinPolicy
循环遍历策略RoundRobinPolicy是一种通过循环遍历方式并且跳过没有足够空间workers的为下一个数据块选择worker的策略。如果没有worker被找到,该策略会返回null。原创 2016-03-24 11:46:37 · 1426 阅读 · 0 评论 -
Alluxio源码分析定位策略:最大可用容量优先策略MostAvailableFirstPolicy
最大可用容量优先策略MostAvailableFirstPolicy是一种worker可用容量最大的定位策略。如果没有worker合格的话该策略返回null。它的核心方法getWorkerForNextBlock()实现如下:/** * A policy that returns the worker with the most available bytes. The policy ret原创 2016-03-24 10:37:02 · 923 阅读 · 0 评论 -
Alluxio源码分析定位策略:本地优先策略LocalFirstPolicy
LocalFirstPolicy是一个优先返回本地主机的定位策略,如果本地worker没有足够的容量,那么就会从活跃有效的workers列表随机选择一个worker用于每个块写入。在其内部,有一个关键的成员变量mLocalHostName,即本地主机名,它是用于选择本地本机worker的关键变量。原创 2016-03-24 10:19:05 · 1120 阅读 · 0 评论 -
Alluxio源码分析读数据:打开文件选项OpenFileOptions
Alluxio源码分析读数据:打开文件选项OpenFileOptions原创 2016-03-23 20:41:44 · 1877 阅读 · 0 评论 -
Alluxio源码分析写数据:创建文件(二)
Alluxio源码分析写数据:创建文件(二)原创 2016-03-22 17:41:18 · 1710 阅读 · 0 评论 -
Alluxio源码分析写数据:创建文件(一)
Alluxio源码分析写数据:创建文件(一)原创 2016-03-22 17:40:54 · 2147 阅读 · 1 评论 -
Alluxio之定位策略
Alluxio提供定位策略,用于确定应该选择哪个Worker来存储文件数据块。用户可以在CreateFileOptions中设置该策略以用于写文件,也可在OpenFileOptions中设置该策略用于向Alluxio中读文件。原创 2016-03-21 21:33:19 · 2157 阅读 · 2 评论 -
Alluxio之IO选项:读写类型
一、读类型 1、CACHE_PROMOTE 如果读取的数据在Worker上时,该数据被移动到Worker的最高层。如果该数据不在本地Worker的Alluxio存储中,那么就将一个副本添加到本地Alluxio Worker中,用于每次完整地读取数据快。这是默认的读类型。 2、CACHE 如果该数据不在本地Worker的原创 2016-03-21 21:30:46 · 4209 阅读 · 0 评论 -
Alluxio文件操作Java API示例
Alluxio文件操作Java API示例原创 2016-03-21 17:19:50 · 6355 阅读 · 2 评论 -
Alluxio层次化存储简介
Alluxio支持分层存储,以便管理内存之外的其它存储类型。目前Alluxio支持这些存储类型(存储层):MEM (内存)、SSD (固态硬盘)、HDD (硬盘驱动器)。原创 2016-03-21 17:20:57 · 4038 阅读 · 0 评论 -
Alluxio源码分析:RPC框架浅析(一)
Alluxio源码分析是一个基于内存的分布式文件系统,和HDFS、HBase等一样,也是由主从节点构成的。而节点之间的通信,一般都是采用的RPC通讯模型。Alluxio中RPC是基于何种技术如何实现的呢?它对于RPC请求是如何处理的?都涉及到哪些组件?本文将针对这些问题,为您一一解答。原创 2016-03-25 14:27:50 · 5815 阅读 · 1 评论