Hadoop集群搭建

Hadoop搭建

·准备工作

本文搭建hadoop的环境的需要： 软件： ·VMware Workstation ·CentOS-6.9-x86_64-bin-DVD1.iso （系统镜像） ·NetSarangXmanagerEnterprise5 ·WinSCP ·Notepad++ 环境包： ·hadoop-2.5.0 ·jdk-7u67-linux-x64

·基本环境搭建

·搭建虚拟机

新建需虚拟机 典型--->下一步   选择镜像--->下一步 填写计算机名称和系统登录的用户名和密码      这里我们的三个系统的主机名分别是            bigdata01.com   #主节点            bigdata02.com            bigdata04.com      用户名和密码都是glm和123 填写虚拟机名称和存放路径 其他设置不变，一直下一步。完成！

·配置本地host文件(这样我们就不用IP也能访问虚拟机)

在配置之前，我们需要使用ifconfig命令在linux系统中查出每个系统所对应的IP地址   我的安装的时候Linux系统的主机名和IP地址的对应如下：      192.168.127.136  bigdata01.com     #主节点      192.168.127.132  bigdata02.com      192.168.127.140  bigdata04.com ·本地host文件目录   ·将我们上面的对应关系放入hosts文件中.    这样我们就可以直接通过主机名来访问虚拟机了（可以通过ping的方式在本地测试）

·配置Linux的hosts文件和HOSTNAME（主机名）

这里我们会用到上面提到的一个工具：Xmanager中的Xshell   1、文件--->新建--->分别连接上三台虚拟机 ··· ···············································································                   在这个shell框中可直接鼠标右键复制粘贴 ··············································································· 配置HOSTNAME    --->切换到root目录下--->修改主机名     --->按对应关系，修改每个系统的主机名 配置hosts文件(每个系统都配置)

 

·关闭selinux和防火墙

关闭selinux     关闭防火墙

 

·配置ssh

--->配置ssh需切换到普通用户下，也就是glm   --->将ssh复制给其他服务器（包括自己）

················································································

·在前面配置的HOSTNAME和防护墙都需要重启生效！重启后进行下面的配置！

················································································

 

·配置jdk（每台服务器都要配置）

--->首先需要分别将三台服务器的opt目录改为glm用户的 --->切换到glm用户下 --->在opt目录下创建文件夹 modules 和 文件夹software 将hadoop安装包和jdk安装包 放在software目录下（使用WinSCP） (第一个服务器只需要传hadoop安装包,jdk每个服务器都需要)   -----修改权限 chomd u+x  *   使其可执行 --->将jdk解压到modules文件夹下 tar -zxvf jdk-7u67-linux-x64.tar.gz -C ../modules/ --->切换到root用户下修改配置文件(三台服务器都需要配置jdk和hadoop) vi  /etc/profile 下面是两种配置JDK的方式，和hadoop配置文件建议使用第二种。 第一种：export JAVA_HOME=/opt/modules/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin 第二种：# set java export JAVA_HOME=/opt/modules/jdk1.7.0_67 export JRE_HOME=$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin #set hadoop export HADOOP_HOME=/opt/modules/hadoop-2.5.0 export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

·hadoop集群环境搭建

·配置主节点的Hadoop环境(只配置主节点，可通过ssh复制到其他节点)

--->将hadoop的安装包解压到modules 文件夹下 --->切换到modules目录下--->修改hadoop文件夹的名字 --->下面修改hadoop的配置文件（需要用到Nopepad++） --->插件--->NppFTP--->Show NppFTP Window--->弹出右边的框即可 --->点击Profile settings --->添加一个新连接，close --->找到如下目录--->开始修改配置文件 --->需要修改的第一类文件（双击文件可打开）--->修改完保存关闭 在第一类配置文件中修改JAVA_HOME