怎样用OpenStack构建Hadoop和Spark系统

本文介绍了如何利用OpenStack Sahara简化Hadoop和Spark的部署过程。OpenStack Sahara是一个附加组件,允许在OpenStack虚拟机上部署Hadoop和Spark。它支持多种Hadoop和Spark版本,提供自动化安装和管理功能,简化了分布式架构的构建和扩展。通过OpenStack Sahara,用户可以方便地定义服务器角色,监控服务状态,并在需要时进行扩展。
摘要由CSDN通过智能技术生成

OpenStack Sahara是个命令行工具,通过简化流程,跟踪复杂的细节,使Hadoop和 Spark的安装、部署变得更加简单。

OpenStack如何构建Hadoop和Spark系统

OpenStack是一种云操作系统,用于提供虚拟机,而OpenStack Sahara是一个附加组件,使管理员能够在这些虚拟机上部署 Spark和Hadoop。换句话说,你可以将OpenStack Sahara作为一个中心点,构建Hadoop和Spark分布架构,做大数据分析。

Sahara本身提供的插件,可以用于不同供应商分配的Hadoop和Spark:

Vanilla: Apache Hadoop;

Ambari: Hortonworks Hadoop;

Spark: Apache Spark with Cloudera HDFS、Apache Spark with Cloudera Hadoop等

MapR:MapR plugin和 MapR File System等, Hadoop和Spark 准前端

Cloudera:Cloudera Hadoop分布式

从技术层面讲,不需要使用Hadoop来运行Spark,但是,由于Spark被分配存储在一个分布式架构中,因此,使用Hadoop来运行Spark,是最佳的选择。另外,Spark自身没有存储机制。

在架构中,Sah

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值