tachyon
stark_summer
这个作者很懒,什么都没留下…
展开
-
Tachyon在Spark中的作用(Tachyon: Reliable, Memory Speed Storage for Cluster Computing Frameworks 论文阅读翻译)
本人很少转载别人的文章,但看了这篇文章感觉非常不错,我不晓得这篇文章是否是此人原创翻译的,但给点个赞吧,加油转载于:http://blog.csdn.net/hust_sheng/article/details/47614925摘要: Tachyon是一种分布式文件系统,可以借助集群计算框架使得数据以内存的速度进行共享。当今的缓存技术优化了read过程,但转载 2015-08-14 08:22:52 · 26085 阅读 · 0 评论 -
Tachyon 0.7.1伪分布式集群安装与测试
Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和 MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的 Jobs/Queries以及框架都能内存的速度来访问缓存文件。因此,Tachyon可以减少那些需要经常使用的数据集通过访问磁盘来获得的次数。源码下载源码地址:h原创 2015-09-09 20:05:24 · 26088 阅读 · 0 评论 -
分布式内存文件系统Tachyon
UCBerkeley研发的Tachyon(超光子['tækiːˌɒn],名字要不要这么太嚣张啊:)是一款为各种集群并发计算框架提供内存数据管理的平台,也可以说是一种内存式的文件系统吧。如下图,它就处于这样一个层次:在现有存储系统如HDFS之上,在Spark,MapReduce,Impala等各种计算框架之下。为什么要有这么一个框架呢?MapReduce就不说了,但像Spark这原创 2015-09-27 16:35:38 · 25409 阅读 · 0 评论 -
tachyon与hdfs,以及spark整合
Tachyon 0.7.1伪分布式集群安装与测试:http://blog.csdn.net/stark_summer/article/details/48321605 从官方文档得知,Spark 1.4.x和Tachyon 0.6.4版本兼容,而最新版的Tachyon 0.7.1和Spark 1.5.x兼容,目前所用的Spark为1.4.1,tachyon为 0.7.1tachyon 与原创 2015-09-14 17:50:09 · 26891 阅读 · 0 评论