通过Isilon和VMware部署Hadoop大数据分析(上)

转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese


介绍

随着传统业务和新一代业务流生成大量数据仓库,各种不同机制处理这些数据的需求不断增强,如何统一管理和处理这些数据仓库催生了集中管理的、易于扩展的数据湖。数据湖让我们的分析师可以轻松安全地访问数据并进行各种分析。本文将演示如何在Isilon和VMware上搭建一个数据湖,然后部署Hadoop进行大数据分析。

更多信息

关键组件

Hadoop模型

传统的Hadoop模型由计算(MapReduce)和数据(HDFS)组合而成。Hadoop计算主要采用MapReduce架构,用于应用程序处理集群中大量的并行数据。Hadoop数据主要存储在分布式文件系统上,为高吞吐量访问应用程序提供数据。

vSphere大数据扩展

在vSphere平台上,VMware vSphere大数据扩展是一套集成的管理工具,帮助企业在vSphere平台上部署Apache Hadoop平台,以实现在vSphere平台支持大数据和Apache Hadoop。

Isilon横向扩展NAS存储

EMC Isilon是唯一支持HDFS协议的横向扩展NAS平台。通过在Isilon使用HDFS协议,用户可以部署一个功能强大、高效、灵活的数据存储和分析系统。

环境介绍

本环境包括以下几个重要组件:

1、  活动域(AD)和DNS服务器;

2、  一台VMware vCenter服务器;

3、  二台VMware ESXi主机;

4、  预装VMware大数据扩展程序;

5、  3个节点的Isilon群集。


实验操作步骤

1、  激活Isilon集群上的HDFS许可证。首先点击“Help”页面,然后点击“About This Cluster”,选择“Active license”激活HDFS许可证。


2、  在Isilon上创建Hadoop HDFS根目录。具体操作如下图:


3、  登录Isilon命令行,将HDFS的根目录指向新建目录/ifs/hadoop。具体操作如下图:


4、  在Isilon命令行,为MapReduce将来的操作和任务跟踪添加一个用户。具体操作如下图:


5、  在VMware vSphere Web Client中,新建二个DataStores容器。





应用于

了解如何通过Isilon和VMware搭建一个数据湖,然后部署Hadoop进行大数据分析。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值