Alluxio的安装与配置

目录

前言

一、Alluxio是什么?

二、准备工作

1.安装环境

2.下载安装包

三、安装与配置

1.安装Alluxio

2.配置Alluxio

四、运行


前言

       该文章是一个Alluxio安装与配置的教程,简单的安装配置步骤,可以参考快速上手指南 - Alluxio v2.6.0 (stable) Documentation。本教程旨在对原教程一些容易出错的地方做一些补充

一、Alluxio是什么?

        Alluxio 是世界上第一个虚拟的分布式存储系统,以内存速度统一了数据访问。 它为计算框架和存储系统构建了桥梁,使应用程序能够通过一个公共接口连接到许多存储系统。 Alluxio 以内存为中心的架构使得数据的访问速度能比现有方案快几个数量级。

二、准备工作

1.安装环境

       1.采用Ubuntu20.04的Linux操作系统,运行在虚拟机上

        2.提前安装java,最好为jdk-1.8.x版本的

        3.配置ssh免密登陆(本地运行无需配置)

        4.安装与配置好Hadoop(本地运行无需配置)

2.下载安装包

下载链接:Try Alluxio in the cloud or download/install where you want it

三、安装与配置

1.安装Alluxio

用如下命令解压下载包。

$ tar -xzf alluxio-2.6.0-bin.tar.gz
$ cd alluxio-2.6.0

这会创建一个包含所有的 Alluxio 源文件和 Java 二进制文件的文件夹alluxio-2.6.0。在本教程中,这个文件夹的路径将被引用为${ALLUXIO_HOME}(也就是你Alluxio的安装目录

2.配置Alluxio

  1. jdk环境变量配置

        打开${ALLUXIO_HOME}/conf目录,根据模板文件创建conf/alluxio-env.sh配置文件。

$ cp conf/alluxio-env.sh.template conf/alluxio-env.sh

​​​​​      在该文件中将你java的环境变量添加进去

export JAVA_HOME=/opt/module/jdk1.8.0_221 # 此处换成你自己的java目录

     2.修改master的ip地址

        在${ALLUXIO_HOME}/conf目录下,根据模板文件创建conf/alluxio-site.properties配置文件。将master的工作ip配置为localhost或本机的hostname

cp conf/alluxio-site.properties.template conf/alluxio-site.properties
echo "alluxio.master.hostname=localhost" >> conf/alluxio-site.properties

      3.修改ramdisk的工作目录

        打开alluxio-site.properties文件,修改alluxio.worker.tieredstore.levelo.dirs.path的值为/mnt/ramdisk。注:也可以填其他目录,但是要保证这个目录是存在的。

四、运行

        按照官网教程运行即可

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Alluxio(以前称为Tachyon)是一个虚拟的分布式存储系统。它弥合了计算框架和存储系统之间的鸿沟,使计算应用程序可以通过公共接口连接到众多存储系统。Alluxio项目源自加州大学伯克利分校AMPLab的一个名为Tachyon的研究项目,该项目是伯克利数据分析堆栈(BDAS)的数据层。 Alluxio大数据存储系统的功能: 1、灵活的文件API:Alluxio的本地API类似于java.io.File类,提供了 InputStream和OutputStream的接口和对内存映射I/O的高效支持。我们推荐使用这套API以获得Alluxio的完整功能以及最佳性能。 2、兼容Hadoop HDFS的文件系统接口:基于这套接口Hadoop MapReduce和Spark可以使用Alluxio代替HDFS。 3、可插拔的底层存储:Alluxio支持将内存数据持久化到底层存储系统。Alluxio提供了通用接口以简化对接不同的底层存储系统。目前Alluxio支持Microsoft Azure Blob Store,Amazon S3,Google Cloud Storage,OpenStack Swift,GlusterFS, HDFS,MaprFS,Ceph,NFS,Alibaba OSS,Minio以及单节点本地文件系统,后续也会支持更多其他存储系统。 4、Alluxio层级存储:Alluxio可以管理内存和本地存储如SSD和HDD,以加速数据访问。如果需要更细粒度的控制,分层存储功能可以用于自动化管理不同层之间的数据,确保热数据在更快的存储层上。自定义策略可以方便地应用到Alluxio,而且pin(钉住)的概念允许用户显式地控制数据的存放位置。 5、统一命名空间:Alluxio可以通过挂载功能实现不同存储系统之间的高效数据管理。并且,透明命名机制在持久化存储对象到底层存储系统时可以保留存储对象的文件名和目录层次结构。 6、Web UI:用户可以通过Web UI浏览文件系统。在调试模式下,管理员还可以查看每一个文件的详细信息,包括存放位置,检查点路径等。 7、命令行:用户也可以通过./bin/alluxio fs与Alluxio交互,例如:实现将数据从文件系统拷入拷出。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值