AWS云上部署Hadoop

本文详细介绍了如何在AWS云上部署Hadoop,包括创建EC2实例、配置网络、安装Java和Hadoop、启动Hadoop及Yarn,以及执行Hadoop分布式实例的全过程,旨在提升对AWS云服务器和Hadoop操作的掌握。
摘要由CSDN通过智能技术生成

目录

一.实验目的

二.实验操作

1.创建EC2实例​编辑

2、使用putty连接实例​编辑

3、新增 Hadoop 用户、安装 Java 环境(master、slave01、slave02都需进行相同操作,这里使用master举例)

4、网络配置

5、安装 Hadoop

6、启动 Hadoop 和 Yarn,启动需要在 Master 节点上进行

7、执行 Hadoop 分布式实例

三.实验总结


一.实验目的

1、在AWS云上部署Hadoop

2、掌握亚马逊云服务器各种操作

3、掌握putty的使用

二.实验操作

  1. 创建EC2实例

     与创建普通实例不同,创建ubuntu实例需要在AMI镜像中创建

     实例创建成功

    2、使用putty连接实例

     登录实例

  2.  新建hadoop用户

    3、新增 Hadoop 用户、安装 Java 环境(master、slave01、slave02都需进行相同操作,这里使用master举例

    Hadoop依赖于Java 环境,所以接下来需要先安装 JDK,直接从官网下载,用 scp

    远程传输到 master 机的 ubuntu 用户下

JDK传递完成

先将文件移动到 hadoop 用户下,再把JDK文件解压到/usr/lib目录下,再进行环境变量的配置。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值