基于内存的分布式文件存储系统Alluxio

如果是只有字段缓存的话，redis应该是够用了。但是如果涉及到大量文件，尤其是用hdfs作为底层存储结构的，建议用alluxio升级一下。一方面有利于spark资源控制，另一方面也可以统一入口便于扩展。

本文只涉及集群环境下一个简单小集群的搭建，详细用法见官方文档http://www.alluxio.org/docs/master/cn/Running-Alluxio-on-a-Cluster.html

1 集群规划

三台服务器hadoop-master-001、hadoop-slave-001、hadoop-slave-002，节点与名称相同。部署spark standalone集群、hadoop standalone集群、alluxio集群。

2 软件版本

jdk-8u144
scala-2.11.8
spark-2.2.0-hadoop2.7
hadoop-2.7.3
alluxio-1.8.0

3 配置

3.1 下载并解压

root用户下
wget http://alluxio.org/downloads/files/1.8.0/alluxio-1.8.0-bin.tar.gz
mkdir –p /app/alluxio/
tar -zxvf alluxio-1.8.0-bin.tar.gz -C /app/alluxio/

3.2 修改配置文件alluxio-env.sh

cd /app/alluxio/all