Alluxio 简单使用

一、 Alluxio HA

1. 下载 tar 包，这里选择了 2.0 版本，下载后解压到 cdh01

2. ssh 免密

3. 配置：cp conf/alluxio-site.properties.template conf/alluxio-site.properties

   # 主节点，使用 ip 的形式，每个主节点配置自己的 ip，worker 节点不配置
   alluxio.master.hostname=192.168.12.38
   # 配置日志文件目录
   alluxio.master.journal.folder=hdfs://nameservice1/alluxio/journal/
   # 必须配置，否则启动报错，默认使用 EMBEDDED，和 zookeeper 高可用不可共用
   alluxio.master.journal.type=UFS
   
   # 必须配置，否则启动报错，且每个节点需创建该文件夹
   alluxio.worker.tieredstore.level0.dirs.path=/opt/alluxio-2.0.0/ramdisk
   
   # zk 高可用
   alluxio.zookeeper.enabled=true
   alluxio.zookeeper.address=cdh01:2181,cd02:2181,cdh07:2181
   alluxio.zookeeper.session.timeout=120s
   
   # 关联hdfs配置文件
   alluxio.underfs.hdfs.configuration=/etc/hadoop/conf/core-site.xml:/etc/hadoop/conf/hdfs-site.xml
   

4. 配置 conf/alluxio-env.sh，添加 JAVA_HOME ：export JAVA_HOME=/usr/local/jdk1.8.0_231

5. 配置 conf/nasters 及 conf/workers

6. 分发到所有 master 和 worker 节点！

7. 在任一台 master 节点运行格式化操作：./bin/alluxio format

8. 在任一台 master 节点启动：./bin/alluxio-start.sh all SudoMount，倘若报错，就去每台 worker 节点先执行 ./bin/alluxio-start.sh worker ，然后再 ./bin/alluxio-stop.sh all -> ./bin/alluxio-start.sh all

9. ./bin/alluxio fs leader 确定 leader，然后页面访问 http://<LEADER_HOSTNAME>:19999

二、HDFS 集成 Alluxio

报错： java.io.IOException No FileSystem for scheme: alluxio

2.1、Configuring core-site.xml

首先在 CDH 集群 core-site.xml 中添加：

<property>
  <name>fs.alluxio.impl</name>
  <value>alluxio.hadoop.FileSystem</value>
</property>
<property>
  <name>