Alluxio介绍与作用

一、介绍Alluxio

Tachyon正式改名为alluxio,并发布v1.0.0版本,alluxio是内存高速虚拟分布式存储系统。

Alluxio是一个以内存为中心的虚拟分布式存储系统,统一数据访问和桥梁的计算框架和底层存储系统。应用程序只需要alluxio就可以把访问存储在任何底层存储系统的数据连接。此外,Alluxio以内存为中心的架构实现数据访问的数量级的速度比现有的解决方案快很多。

在大数据的生态系统,Alluxio在于计算框架或jobs之间,如Apache的Spark,Apache的 MapReduce,或Apache Flink,和各种各样的存储系统,如Amazon S3,OpenStack Swift,GlusterFS, HDFS,Ceph,或OSS。Alluxio带来显着的改善生态系统的性能;例如,百度使用alluxio提高加速数据分 析管道30倍的吞吐量。

二、现有的特性

(1)、灵活的文件API

Alluxio的原生API与java.io.file类InputStream和OutputStream接口相似,提供高效的支持内存映射的I/O,我们推荐使用这个API来获得 最好的性能alluxio。另外,alluxio提供Hadoop兼容的文件系统接口,允许Hadoop MapReduce和Spark使用alluxio代替HDFS。

(2)、支持可插拔存储

(3)、分层存储

(4)、统一命名空间

(5)、血统

(6)、WebUI和命令行

欢迎关注我的微信公众号“叨叨大数据”,其中有更详细的讲解。

三、Alluxio层次化存储简介

        一)、分层存储种类

        1、MEM (内存)

        2、SSD (固态硬盘)

        3、HDD (硬盘驱动器)


        二)、分层存储参数
        
        更多内容请关注我的微信公众号“叨叨大数据”,参考《Alluxio层次化存储简介》这一篇。

 

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值