tachyon方面转载

最新推荐文章于 2016-03-19 16:02:37 发布

好记性不如烂笔头哦

最新推荐文章于 2016-03-19 16:02:37 发布

阅读量443

点赞数

分类专栏： tachyon

tachyon 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

参考文章，感谢作者共享

http://www.cnblogs.com/byrhuangqiang/p/3940017.html

http://blog.itpub.net/22268043/viewspace-1114449/

http://blog.csdn.net/colorant/article/details/22385763

http://www.csdn.net/article/2014-07-17/2820713

http://blog.csdn.net/oopsoom/article/details/38438321

Spark是一个高效的分布式计算系统，相比Hadoop，它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。

Shark类似“SQL on Spark”，是一个在Spark上数据仓库的实现，在兼容Hive的情况下，性能最高可以达到Hive的一百倍。

Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能（缓存部分），此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。

Tachyon 是 AmpLab 的 Li Haoyuan 所开发的一个基于内存的分布式文件系统，出发点是作为 AMPLAB 的 BDAS 的一个组成部分。其声称吞吐量超过HDFS 300多倍。

配置

首先使用tachyon 给的配置

$ cp conf/tachyon-env.sh.template conf/tachyon-env.sh

$ vim conf/tachyon-env.sh

配java_home

启动tachyon

$ ./bin/tachyon-start.sh local

查看是否启动成功，登录 http://localhost:19999

测试功能

$ ./bin/tachyon runTest Basic CACHE_THROUGH

你将会看到类似下面的 log

Basic_File_CACHE_THROUGH has been removed
2014-02-02 09:32:02,760 INFO   (TachyonFS.java:connect) - Trying to connect master @ localhost/127.0.0.1:19998
2014-02-02 09:32:02,791 INFO   (MasterClient.java:getUserId) - User registered at the master localhost/127.0.0.1:19998 got UserId 10
2014-02-02 09:32:02,792 INFO   (TachyonFS.java:connect) - Trying to get local worker host : hy-ubuntu
2014-02-02 09:32:02,800 INFO   (TachyonFS.java:connect) - Connecting local worker @ hy-ubuntu/127.0.1.1:29998
2014-02-02 09:32:02,819 INFO   (CommonUtils.java:printTimeTakenMs) - createFile with fileId 18 took 60 ms.
2014-02-02 09:32:03,194 INFO   (TachyonFS.java:createAndGetUserTempFolder) - Folder /mnt/ramdisk/tachyonworker/users/10 was created!
2014-02-02 09:32:03,198 INFO   (BlockOutStream.java:<init>) - /mnt/ramdisk/tachyonworker/users/10/19327352832 was created!
Passed the test!