讲了这么久的理论,话说实践是检验真理的唯一标准,我们来搭一个Hadoop环境。通过实践加深对Hadoop复杂理论的理解,通过实践再反过来看理论,也许会有更深的认知。今天我们用天翼云3.0环境,搭建最小规模的Hadoop。我们一步一步来,你会跟上。
一、申请两台云主机,分别用于Hadoop的Master节点、Node节点
为了省点money,我们申请1vCpu、2G内存,40G系统盘的CentOS 7.3主机两台。
为利于后期两台主机的内网通信,建议这两台主机放到同一个vpc,同一个安全组中。
二、通过公网弹性IP,分别登陆CentOS进行JAVA、Hadoop安装和配置。
1、登陆Master节点,修改本地hosts,用于后期的内网通信连接。192.168的内网地址需要根据您的云主机真实内网地址修改。
[root@ecs-hadoop-0001 ~]# vi /etc/hosts
192.168.189.60 master
192.168.189.80 node1
修改完成后,按同样的方法修改Node节点。
2、配置两台云主机的SSH无密码登录,用于Master、Node节点的hadoop通信。
首先登录master节点
[root@ecs-hadoop-0001 ~]# ssh-keygen 输入后一直按回车即可
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): ^C
[root@ecs-hadoop-0001 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys