真实操作:在天翼云搭建最小规模的Hadoop环境

本文详细介绍了如何在天翼云环境中,使用两台云主机搭建最小规模的Hadoop集群。从申请云主机、配置JAVA、Hadoop,到启动Hadoop进程,每个步骤都有详细的操作指南,旨在通过实践加深对Hadoop理论的理解。
摘要由CSDN通过智能技术生成

        讲了这么久的理论,话说实践是检验真理的唯一标准,我们来搭一个Hadoop环境。通过实践加深对Hadoop复杂理论的理解,通过实践再反过来看理论,也许会有更深的认知。今天我们用天翼云3.0环境,搭建最小规模的Hadoop。我们一步一步来,你会跟上。

        一、申请两台云主机,分别用于Hadoop的Master节点、Node节点

       为了省点money,我们申请1vCpu、2G内存,40G系统盘的CentOS 7.3主机两台。

        

为利于后期两台主机的内网通信,建议这两台主机放到同一个vpc,同一个安全组中。

       二、通过公网弹性IP,分别登陆CentOS进行JAVA、Hadoop安装和配置。

        1、登陆Master节点,修改本地hosts,用于后期的内网通信连接。192.168的内网地址需要根据您的云主机真实内网地址修改。

[root@ecs-hadoop-0001 ~]# vi /etc/hosts

192.168.189.60 master

192.168.189.80 node1

        修改完成后,按同样的方法修改Node节点。

        2、配置两台云主机的SSH无密码登录,用于Master、Node节点的hadoop通信。

        首先登录master节点

[root@ecs-hadoop-0001 ~]# ssh-keygen 输入后一直按回车即可

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa): ^C

[root@ecs-hadoop-0001 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值