虚拟机环境下Hadoop集群的搭建

 第二篇         hadoop集群的搭建

步骤概述：

         一、linux环境准备

                         1-网络准备   

                         2-脚本准备   

                         3-ssh准备

         二、hadoop环境准备

                         1-jdk、hadoop、环境变量。

                         2-四个site和三个evn

                         3-slaves（workers）

       三、集群群启

                         1-启动hdfs

                         2-启动yarn

                         3-web控制台

目录

一、linux环境准备

1-配置网络      

2-分发脚本准备

3-ssh无密登录

二、hadoop环境准备

1-jdk&&hadoop

2-四个site和三个evn

3-slaves（workers）

三、集群启动

---

      

 

 

 

一、linux环境准备

 

1-配置网络      

     运行hadoop集群，我们需要linux配置好以下基础功能：   

       - vim编辑器已安装（这个是为了方便我们以后的编辑工作）

       - rsync工具已安装（这个用于以后我们分发配置文件）

       - 防火墙已关闭

       - ip应为静态，指定hostname。

       在这个linux的准备工作中，重点说一下第三步配置ip，因为我本人的linux基础相当差，一开始进行网络配置时我使用了最笨的方法，就是去编辑 /etc/sysconfig/network-scripts下的网卡配置文件，用编辑器一行一行的写，后来在朋友的指点下学会了使用nmtui工具，强烈推荐大家使用这个工具，配置网络极其方便快捷。这里要配置的几点分别是：1-指定分配方式自动变为手动；2-指定ip、网关、域名解析器。

 可爱的nmtui界面：

        有时候新装的机器这样配置完还是ping不通，是因为onboot还是no，去修改一下网卡配置文件即可。另外如果想要节省工作量，最好在第一台机器上添加我们的普通用户，并将此用户添加入sudoers列表，这样我们在以后克隆的机器中就不必再重复的添加用户了。

       在以上配置完成后，hadoop001号机器就可以作为原点机进行克隆了，我在这里配置了四台机器构成一个集群，克隆之后的三个linux分别需要重复上文中的第四步，修改主机名、ip。保证我们的四台机器能相互ping通地址即可。