Alluxio(Tachyon)
文章平均质量分 72
sun_qiangwei
这个作者很懒,什么都没留下…
展开
-
Alluxio(Tachyon) 集群独立运行模式安装遇到的问题(非root用户)
1、如果启动报sudo相关命令错误,是因为启动用户未在sudoers里面,需要将用户添加到此文件中,添加方法搜下root位置,再后面添加即可。内容如下:root ALL=(ALL) ALLhadoop ALL=(ALL) ALL同时把此文件中的:#Defaults requiretty 注释掉。2、经原创 2016-08-07 00:26:45 · 2664 阅读 · 2 评论 -
"Spark 1.6 + Alluxio 1.2 HA + OFF_HEAP" 的配置
1、到 https://github.com/winse/spark-alluxio-blockstorage 下载 AlluxioBlockManager.scala 文件,并进行编译打包为 spark-alluxio-blockstore.jar2、将alluxio-core-client-spark-1.2.0-jar-with-dependencies.jar、 spark-all原创 2016-08-20 18:54:47 · 1175 阅读 · 2 评论 -
Alluxio 1.2.0 HA 问题集合
一、问题之 last execution took xxxx ms. Longer than the interval xxx集群情况如下: hdfs-yarn-1;IP地址:192.168.1.151;服务:Master & Worker & Zookeeper hdfs-yarn-2;IP地址:192.168.1.152;服务:Master & Worker hdfs-yarn-3;IP地原创 2016-08-20 11:28:05 · 1373 阅读 · 0 评论 -
"Spark 1.6 + Alluxio 1.2 + OFF_HEAP" 的配置
我们知道,Spark + Tachyon 可以解决 Spark 在使用过程中的一些问题,可以总结为 数据共享 和 GC 等问题。 但是呢,Tachyon 在今年已经更名为 Alluxio,并且其访问schema也从tachyon修改为alluxio;Spark 1.6 的版本也在维护中;可是,到目前为止,Spark还没有将之前的 Tachyon 的协议修改为 Alluxio 的协议,因此 Allu原创 2016-08-16 00:23:13 · 587 阅读 · 0 评论