如果是只有字段缓存的话,redis应该是够用了。但是如果涉及到大量文件,尤其是用hdfs作为底层存储结构的,建议用alluxio升级一下。一方面有利于spark资源控制,另一方面也可以统一入口便于扩展。
本文只涉及集群环境下一个简单小集群的搭建,详细用法见官方文档http://www.alluxio.org/docs/master/cn/Running-Alluxio-on-a-Cluster.html
1 集群规划
三台服务器hadoop-master-001、hadoop-slave-001、hadoop-slave-002,节点与名称相同。部署spark standalone集群、hadoop standalone集群、alluxio集群。
2 软件版本
jdk-8u144
scala-2.11.8
spark-2.2.0-hadoop2.7
hadoop-2.7.3
alluxio-1.8.0
3 配置
3.1 下载并解压
root用户下
wget http://alluxio.org/downloads/files/1.8.0/alluxio-1.8.0-bin.tar.gz
mkdir –p /app/alluxio/
tar -zxvf alluxio-1.8.0-bin.tar.gz -C /app/alluxio/
3.2 修改配置文件alluxio-env.sh
cd /app/alluxio/all