Spark & Shark & Tachyon 简介

原创 2013年12月02日 21:17:48

Spark是一个高效的分布式计算系统相比Hadoop,它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API,同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。

Shark类似“SQL on Spark”,是一个在Spark上数据仓库的实现,在兼容Hive的情况下,性能最高可以达到Hive的一百倍。 

Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能(缓存部分),此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。


相关文章推荐

tachyon与hdfs,以及spark整合

Tachyon 0.7.1伪分布式集群安装与测试:http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1...

Spark生态之Alluxio学习6---集群版搭建和运行(Tachyon)

更多代码请见:https://github.com/xubo245/SparkLearning 环境: hadoop-2.6.0 spark-1.5.2 scala-1.7 1解释 完成ta...

Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

1、Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多,分布式内存计算也持续升温,怎样将海量数据近乎实时地处理,或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的...

Tachyon:Spark生态系统中的分布式内存文件系统

(转自:http://www.csdn.net/article/2015-06-25/2825056)Tachyon是Spark生态系统内快速崛起的一个新项目。 本质上, Tachyon是个分布式的内...

Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

Tachyon是AmpLab的李浩源所开发的一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在Tachyon里的文件。Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark & Shark & Tachyon 简介
举报原因:
原因补充:

(最多只允许输入30个字)