Hadoop集群搭建（Hadoop-2.7.2）

• 一、基础环境安装

1.虚拟机环境准备

192.168.70.10（hadoop10），192.168.70.11（hadoop11），192.168.70.12（hadoop12），

2.在3台机器上安装jdk并配置环境变量

安装目录 /opt/module/jdk1.8.0_131

3.Hadoop安装

Hadoop下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

   下载解压文件至安装目录

  tar -zxvf hadoop-2.7.2.tar.gz  -C   /opt/module

4.配置Hadoop环境变量

   vi /etc/profile

添加以下配置

   export HADOOP_HOME=/opt/module/hadoop-2.7.2
   export PATH=$PATH:$HADOOP_HOME/bin
   export PATH=$PATH:$HADOOP_HOME/sbin

刷新配置

source /etc/profile

5.测试

hadoop version

另外两台服务器重复以上步骤，完成Hadoop安装

• 二、集群配置

 1.集群部署规划

	hadoop10	hadoop11	hadoop12
HDFS	NameNode,DataNode	DataNode	datanode， secondarynamenode
YARN	NodeManager	ResourceManager， NodeManager	NodeManager

2.配置hahadoop-env.sh

cd    /opt/module/hadoop-2.7.2/etc/hadoop
vi hahadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_131

3.修改核心配置文件

vi core-site.xml

<configuration>
  <!-- 指定HDFS中NameNode的地址 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop10:9000</value>
  </property>
  <!-- 指定hadoop运行时产生文件的存储目录 -->
  <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
  </property>
</configuration>

4.hdfs配置文件修改

vi hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
 <!--secondarynamenode的地址 辅助namenode工作-->
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop12:50090</value>
</property>
<property>
  <name>dfs.name.dir</name>  
  <value>/home/teacher/data/hadoop/name/</value> 
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/home/teacher/data/hadoop/data/</value>
</property>
</configuration>

5.yarn配置文件修改

 vi yarn-site.xml 

<!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序 -->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <!-- 指定YARN的ResourceManager的地址 -->
<property>                
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop11</value>
</property>
<property>
   <name>yarn.nodemanager.resource.memory-mb</name>
   <value>3072</value>
</property>

6.mapreduce配置文件修改

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

7.配置集群中从节点信息

 vi slaves

 hadoop10
 hadoop11
 hadoop12

8.部署另外两台服务器

  将hadoop10中hadoop目录下的软件拷贝到其他机器

9.集群单点启动

  如果集群是第一次启动，需要格式化NameNode（格式化只进行一次！）

  hadoop namenode -format

 在hadoop10启动NameNode

    sbin/hadoop-daemon.sh start namenode 

在hadoop10，hadoop11，hadoop12上分别启动DataNode

   sbin/hadoop-daemon.sh start datanode

10.集群启动

    在hadoop10节点上执行

        start-dfs.sh

        验证：  http://192.168.70.10:50070/dfshealth.html#tab-datanode

   在hadoop11节点上执行

       start-yarn.sh

        验证：http://192.168.70.11:8088/cluster/nodes

 

   注：服务器之间最好设置下免密登录

     

SSH无密登录配置

ssh-keygen

复制公钥只hadoop11

 ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop11

测试

ssh hadoop11

   在另外服务器上重复上面操作