tachyon 安装配置

tachyon简介

Tachyon 是 AmpLab 的 Li Haoyuan 所开发的一个基于内存的分布式文件系统，出发点是作为 AMPLAB 的 BDAS 的一个组成部分。其声称吞吐量超过HDFS 300多倍。

git 仓库 点击打开链接  下载源码包

安装

cd tachyon/

mvn package

配置

首先使用tachyon 给的配置

$ cp conf/tachyon-env.sh.template conf/tachyon-env.sh

$ vim conf/tachyon-env.sh

更改 TACHYON_UNDERFS_ADDRESS=/tmp

挂载RAMfs

$ ./bin/tachyon format

在挂载过程中需要提供root密码，但是本人在输入正确的root密码后仍然是 Permission denied. 
测试了下 ssh root@localhost ， ssh提示需要root 密码，问题出在了这里。tachyon ssh 到 root@localhost 的密码需要手动输入，但是tachyon明显没有给我们输入的机会。

我们需要ssh root@localhost without password.
# ssh-keygen -t rsa -f ~/.ssh/id_rsa (doesn't matter if I create a passphrase or not)
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# ssh localhost

启动tachyon

$ ./bin/tachyon-start.sh local

查看是否启动成功，登录 http://localhost:19999

测试功能

$ ./bin/tachyon runTest Basic CACHE_THROUGH

你将会看到类似下面的 log

Basic_File_CACHE_THROUGH has been removed
2014-02-02 09:32:02,760 INFO   (TachyonFS.java:connect) - Trying to connect master @ localhost/127.0.0.1:19998
2014-02-02 09:32:02,791 INFO   (MasterClient.java:getUserId) - User registered at the master localhost/127.0.0.1:19998 got UserId 10
2014-02-02 09:32:02,792 INFO   (TachyonFS.java:connect) - Trying to get local worker host : hy-ubuntu
2014-02-02 09:32:02,800 INFO   (TachyonFS.java:connect) - Connecting local worker @ hy-ubuntu/127.0.1.1:29998
2014-02-02 09:32:02,819 INFO   (CommonUtils.java:printTimeTakenMs) - createFile with fileId 18 took 60 ms.
2014-02-02 09:32:03,194 INFO   (TachyonFS.java:createAndGetUserTempFolder) - Folder /mnt/ramdisk/tachyonworker/users/10 was created!
2014-02-02 09:32:03,198 INFO   (BlockOutStream.java:<init>) - /mnt/ramdisk/tachyonworker/users/10/19327352832 was created!
Passed the test!

关闭tachyon

聪明的你肯定已经知道了。

$ ./bin/tachyon-stop.sh

小结

tachyon 是一款内存存储的系统，他将数据以block(默认1GB)的形式放入内存中，读写性能是HDD和SSD无法媲美的，问题就是耗内存，适合作为map reduce 框架的存储引擎，与spark协同作业是个不错的选择。本人接触也不多，有错的地方请指正。