Spark & Shark & Tachyon 简介

原创 2013年12月02日 21:17:48

Spark是一个高效的分布式计算系统相比Hadoop,它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API,同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。

Shark类似“SQL on Spark”,是一个在Spark上数据仓库的实现,在兼容Hive的情况下,性能最高可以达到Hive的一百倍。 

Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能(缓存部分),此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。


Spark生态之Alluxio学习8---集群版搭建问题之集群无法全部启动

六个worker只启动了3个: hadoop@Master:~/cloud/alluxio-0.7.1$ ./bin/tachyon format Connecting to Mcnode1 as h...
  • bob601450868
  • bob601450868
  • 2016年05月05日 20:01
  • 1446

WareShark抓包工具的简单使用

0.前言     在火狐浏览器和谷歌浏览器中可以非常方便的调试network(抓取HTTP数据包),但是在360系列浏览器(兼容模式或IE标准模式)中抓取HTTP数据包就不那么那么方便了。虽然也可使...
  • u013224148
  • u013224148
  • 2015年05月29日 10:41
  • 3723

Tachyon架构分析和现存问题讨论

作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ ...
  • colorant
  • colorant
  • 2014年03月28日 11:32
  • 15535

Adatao:基于Spark/Tachyon的分布式深度学习框架

  • 2015年10月18日 10:04
  • 12.4MB
  • 下载

顾荣-Tachyon存储系统的基本原理以及与Spark的结合使用

  • 2015年11月05日 13:26
  • 1.32MB
  • 下载

利用Spark and Shark快速循环分析不同数据

  • 2014年05月29日 14:08
  • 576KB
  • 下载

Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

1、Tachyon介绍 1.1 Tachyon简介 随着实时计算的需求日益增多,分布式内存计算也持续升温,怎样将海量数据近乎实时地处理,或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的...
  • u013337889
  • u013337889
  • 2015年09月16日 09:40
  • 556

Tachyon:Spark生态系统中的分布式内存文件系统

(转自:http://www.csdn.net/article/2015-06-25/2825056)Tachyon是Spark生态系统内快速崛起的一个新项目。 本质上, Tachyon是个分布式的内...
  • cds86333774
  • cds86333774
  • 2016年04月22日 20:29
  • 332

Spark入门实战系列--10.分布式内存文件系统Tachyon介绍及安装部署

Tachyon是AmpLab的李浩源所开发的一个分布式内存文件系统,可以在集群里以访问内存的速度来访问存在Tachyon里的文件。Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的...
  • yirenboy
  • yirenboy
  • 2015年09月16日 14:13
  • 1991

Spark生态之Alluxio学习6---集群版搭建和运行(Tachyon)

更多代码请见:https://github.com/xubo245/SparkLearning 环境: hadoop-2.6.0 spark-1.5.2 scala-1.7 1解释 完成ta...
  • bob601450868
  • bob601450868
  • 2016年05月05日 17:45
  • 1521
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark & Shark & Tachyon 简介
举报原因:
原因补充:

(最多只允许输入30个字)