目录
前言
该文章是一个Alluxio安装与配置的教程,简单的安装配置步骤,可以参考快速上手指南 - Alluxio v2.6.0 (stable) Documentation。本教程旨在对原教程一些容易出错的地方做一些补充
一、Alluxio是什么?
Alluxio 是世界上第一个虚拟的分布式存储系统,以内存速度统一了数据访问。 它为计算框架和存储系统构建了桥梁,使应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio 以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。
二、准备工作
1.安装环境
1.采用Ubuntu20.04的Linux操作系统,运行在虚拟机上
2.提前安装java,最好为jdk-1.8.x版本的
3.配置ssh免密登陆(本地运行无需配置)
4.安装与配置好Hadoop(本地运行无需配置)
2.下载安装包
下载链接:Try Alluxio in the cloud or download/install where you want it
三、安装与配置
1.安装Alluxio
用如下命令解压下载包。
$ tar -xzf alluxio-2.6.0-bin.tar.gz
$ cd alluxio-2.6.0
这会创建一个包含所有的 Alluxio 源文件和 Java 二进制文件的文件夹alluxio-2.6.0
。在本教程中,这个文件夹的路径将被引用为${ALLUXIO_HOME}(也就是你Alluxio的安装目录)
。
2.配置Alluxio
- jdk环境变量配置
打开${ALLUXIO_HOME}/conf目录
,根据模板文件创建conf/alluxio-env.sh
配置文件。
$ cp conf/alluxio-env.sh.template conf/alluxio-env.sh
在该文件中将你java的环境变量添加进去
export JAVA_HOME=/opt/module/jdk1.8.0_221 # 此处换成你自己的java目录
2.修改master的ip地址
在${ALLUXIO_HOME}/conf
目录下,根据模板文件创建conf/alluxio-site.properties
配置文件。将master的工作ip配置为localhost或本机的hostname
cp conf/alluxio-site.properties.template conf/alluxio-site.properties
echo "alluxio.master.hostname=localhost" >> conf/alluxio-site.properties
3.修改ramdisk的工作目录
打开alluxio-site.properties文件,修改alluxio.worker.tieredstore.levelo.dirs.path的值为/mnt/ramdisk。注:也可以填其他目录,但是要保证这个目录是存在的。
四、运行
按照官网教程运行即可