CentOS7(64)环境下Hadoop2.6.0分布式部署说明

1，准备工作

   1，部署CentOS 7.0(64位)环境；需配置静态IP地址。

      1），设置虚拟机网络。

   首先打开本机的”打开网络和共享中心”:

 

选择打开”本地连接”，并点击”属性”，勾选”允许其他网络用户通过此计算机的Internet连接来连接”，从下拉框中选择”VMware Network Adapter VMnet8”:

 

虚拟机菜单->编辑->虚拟网络编辑：选择WMnet8 (NAT模式)

 

设置静态IP地址，进入CentOS系统，打开”系统工具”->”设置”->”网络”，选择”手动”，输入IP地址，地址和网关参考上图的子网IP及网关设置。设置完毕之后，再开启就可以发现网络IP地址已经变为设置后的地址。

 

测试网络是否连通：

 

      2），设置主机名。

       在root下，打开/etc/hostname

       改为namenode，保存。

 

   2，Hadoop -2.6.0 下载，下载地址:

       http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

2，安装Java

   1），搜索jdk开发环境

      yum search jdk

 

2），安装jdk

  yum install java-1.8.0-openjdk-devel.x86_64

3），检查是否安装成功

  java -version

 

可以看见当前的jdk版本已经是”1.8.0_91”。表示已经安装成功。

3，安装Hadoop

1），将第一步下载的hadoop版本安装包上传至 /usr/local/ 文件夹，并解压。

cd /usr/local

gunzip hadoop-2.6.0.tar.gz

tar -xvf hadoop-2.6.0.tar

2），配置环境

打开 /etc/profile

在文件的最后位置，追加上如下配置：

#set java environment 

export  JAVA_HOME=/usr/lib/jvm/java 

export  JRE_HOME=$JAVA_HOME/jre 

export  PATH=$PATH:$JAVA_HOME/bin

export  CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

 

export  HADOOP_HOME=/usr/local/hadoop-2.6.0 

export  HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoop 

export  YARN_CONF_DIR=/usr/local/hadoop-2.6.0/etc/hadoop 

export  PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

3），激活配置

   source /etc/profile

4），创建hdfs相关目录

 

mkdir  /home/hadoop/hd_space/tmp  -p 

mkdir /home/hadoop/hd_space/hdfs/name -p

mkdir /home/hadoop/hd_space/hdfs/data -p 

mkdir /home/hadoop/hd_space/mapred/local -p

mkdir -p /home/hadoop/hd_space/mapred/system 

chown -R hadoop:hadoop /home/hadoop/hd_space/ 

chown -R hadoop:hadoop /usr/local/hadoop-2.6.0

4，虚拟机克隆

1），选择菜单栏中的“虚拟机->管理->克隆”。选择”创建完整克隆”。

 

 

 

2），更改虚拟机的网卡

      打开克隆虚拟机，“网络适配器”->“高级”如下图：

 

MAC 

datanode1: 

HWADDR=00:0C:29:10:EC:78 

datanode2: 

HWADDR=00:0C:29:10:EC:79 

3），更改主机名主机ip配置

     分别用root登录克隆的两台机器，打开并编辑/etc/hostname，分别输入 datanode1和datanode2。

     打开/etc/sysconfig/network-scripts/ifcfg-eno16777756，修改相关内容：

datanode1: 

HWADDR=00:0C:29:10:EC:78 IPADDR=192.168.128.111  

datanode2: 

HWADDR=00:0C:29:10:EC:79  IPADDR=192.168.128.112

4），重启3台虚拟机。

5，3台虚拟机建立互连

1），root登陆namenode，打开并编辑/etc/hosts，修改内容：

   192.168.128.110 namenode

   192.168.128.111 datanode1

   192.168.128.112 datanode2

2），将修改后的文件，分别拷贝到datanode1和datanode2

   在终端执行如下指令:

   scp /etc/hosts root@192.168.128.111:/etc/hosts

   scp /etc/hosts root@192.168.128.112:/etc/hosts

3），通过SSH建立互连

用hadoop分别登陆namenode、datanode1、datanode2。

ssh-keygen -t rsa 采用默认值3次回车。

 

在datanode1登录hadoop用户 

scp /home/hadoop/.ssh/id_rsa.pub hadoop@namenode:/home/hadoop/.ssh/id_rsa.pub.datanode1 

 

在datanode2登录hadoop用户 

scp /home/hadoop/.ssh/id_rsa.pub hadoop@namenode:/home/hadoop/.ssh/id_rsa.pub.datanode2 

 

在namenode登录hadoop用户

cd /home/hadoop/.ssh/ 

ll 

cat id_rsa.pub >> authorized_keys 

cat id_rsa.pub.datanode1 >> authorized_keys 

cat id_rsa.pub.datanode2 >> authorized_keys 

scp ~/.ssh/authorized_keys hadoop@datanode1:/home/hadoop/.ssh/authorized_keys 

scp ~/.ssh/authorized_keys hadoop@datanode2:/home/hadoop/.ssh/authorized_keys 

chmod 600 /home/hadoop/.ssh/authorized_keys 

备注：无密码登陆，需要600权限（三台机器分别执行chmod 600 /home/hadoop/.ssh/authorized_keys ）。

4），测试连通：

在namenode上分别执行:

     ssh datanode1

     ssh datanode2

 

在datanode1上执行ssh namenode 和 ssh datanode2

 

在datanode2一样参照上述命令进行验证。

6，Hadoop配置

修改路径 /usr/local/hadoop-2.5.2/etc/hadoop 下的配置文件。

1），编辑hadoop-env.sh

修改JAVA_HOME并保存 ”export JAVA_HOME=/usr/lib/jvm/java”

 

2），编辑yarn-env.sh

修改 JAVA_HOME并保存 export JAVA_HOME=/usr/lib/jvm/java

 

3），编辑core-site.xml

<property> 

<name>fs.defaultFS</name> 

<value>hdfs://namenode:9000</value> 

</property> 

<property> 

<name>hadoop.tmp.dir</name> 

<value>/home/hadoop/hd_space/tmp</value> 

</property>

<property>

       <name>io.file.buffer.size</name>

       <value>4096</value>

  </property>

 

 

4），编辑hdfs-site.xml

<property> 

  <name>dfs.namenode.name.dir</name> 

  <value>/home/hadoop/hd_space/hdfs/name</value> 

</property> 

<property> 

  <name>dfs.datanode.data.dir</name> 

  <value>/home/hadoop/hd_space/hdfs/data</value> 

</property> 

<property> 

  <name>dfs.replication</name>   

 <value>2</value> 

</property> 

<property> 

  <name>dfs.namenode.secondary.http-address</name>   

<value>datanode1:50090</value> 

</property> 

<property> 

  <name>dfs.namenode.secondary.https-address</name>   

<value>datanode1:50091</value> 

</property>

5），编辑mapred-site.xml

<property> 

<name>mapreduce.cluster.local.dir</name> 

<value>/home/hadoop/hd_space/mapred/local</value> 

</property> 

<property> 

<name>mapreduce.cluster.system.dir</name> 

<value>/home/hadoop/hd_space/mapred/system</value> 

</property> 

<property> 

<name>mapreduce.framework.name</name> 

<value>yarn</value> 

</property> 

<property> 

<name>mapreduce.jobhistory.address</name> 

<value>namenode:10020</value> 

</property>

<property> 

<name>mapreduce.jobhistory.webapp.address</name> 

<value>namenode:19888</value> 

</property>

6），编辑yarn-site.xml

<property> 

<description>The hostname of the RM.</description>     

<name>yarn.resourcemanager.hostname</name>     

<value>namenode</value>   

</property>   

<property> 

<description>

the valid service name should only contain a-zA-Z0-9_ and can not start with numbers

</description> 

<name>yarn.nodemanager.aux-services</name>     

<value>mapreduce_shuffle</value>   

</property> 

7），修改slaves

   打开/usr/local/hadoop-2.6.0/etc/hadoop/slaves，将里面的localhost改为datanode1和datanode2

8），修改datanode1 和 datanode2的hadoop配置

    将namenode修改的配置文件，拷贝到datanode1和datanode2

   scp -r /usr/local/hadoop-2.6.0/etc/hadoop hadoop@datanode1:/usr/local/hadoop-2.6.0/etc

   scp -r /usr/local/hadoop-2.6.0/etc/hadoop hadoop@datanode2:/usr/local/hadoop-2.6.0/etc

7，启动hadoop

1），格式化 执行命令 hdfs namenode -format。

     初次运行，首先要进行格式化（一次就够）

2），启动dfs及yarn

     执行如下指令 start-dfs.sh

 

     执行如下指令 start-yarn.sh

 

     或者直接执行 start-all.sh 效果和上述两个命令一样。相应的对应中止命令分别为

     stop-dfs.sh

     stop-yarn.sh

     stop-all.sh

3），前台验证

   http://192.168.128.110:50070/dfshealth.jsp

   可以看到Live Nodes 个数为2

 

http://192.168.128.110:8088/cluster

 

 

4），检查进程

检查进程 ：

 

5），检查日志文件 

    /usr/local/hadoop-2.6.0/logs 

6），删除日志

   rm -rf /usr/local/hadoop-2.6.0/logs/*.*