hadoop分布式集群搭建

Hadoop集群搭建

*集群规划----分布式集群搭建的核心就是集群规划。hadoop采取master-slave结构（主-从结构），集群规划需要遵循主从分离原则，简单来说，就是namenode和datanode不能在一个结点上。做好集群规划之后，按以下步骤执行搭建：

(以三台主机为例，假设主机名为PC01、PC02、PC03，PC01是主节点)

1、设置静态ip=======集群每台机器都要设置

2、修改主机名=======集群每台机器都要配置

3、创建映射=======集群每台机器都要配置，而且每台都要映射集群所有节点的ip

192.168.122.1    PC01

192.168.122.2    PC02

192.168.122.3    PC03

4、关闭防火墙=======集群每台机器都要设置

5、安装JDK=======集群每台机器都要安装

6、ssh免密登录=======主节点到每个从节点，每个从节点到主节点，主节点到自己

PC01==>PC01、PC02、PC03

7、安装hadoop

a、解压下载的hadoop包

#tar -zxvf hadoop-2.7.3.tar.gz -C /opt

b、配环境变量vim /etc/profile

export HADOOP_HOME=/opt/hadoop-2.7.3

export PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

以上七个步骤同单节点安装都一样(映射多了从节点的)，参见HadoopDay01笔记

8、修改配置文件(标黄内容按自己实际情况修改)

a、hadoop-env.sh

    export JAVA_HOME= （你的JDK安装路径）

b、core-site.xml

<configuration> 

 <!-- 指定HDFS的namenode的通信地址 -->

    <property> 

       <name>fs.default.name</name> 

       <value>hdfs://PC01(主节点):9000</value> 

    </property> 

  <!-- 指定hadoop运行时产生文件的存放目录 -->

    <property> 

        <name>hadoop.tmp.dir</name> 

        <value>/opt/data</value> 

    </property> 

</configuration>

c、hdfs-site.xml

<configuration>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/opt/data/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/opt/data/data</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <property>

        <name>dfs.secondary.http.address</name>

        <value>PC01(主节点):50090</value>

    </property>

</configuration>

d、mapred-site.xml

<configuration> 

    <property> 

        <name>mapreduce.framework.name</name> 

        <value>yarn</value> 

    </property> 

</configuration>

e、yarn-site.xml 

<configuration> 

     <!-- 指定YARN的老大（ResourceManager）的地址 -->

    <property> 

        <name>yarn.resourcemanager.hostname</name> 

        <value>PC01(主节点)</value> 

    </property> 

     <!-- reducer获取数据的方式 -->

    <property> 

        <name>yarn.nodemanager.aux-services</name> 

        <value>mapreduce_shuffle</value> 

    </property> 

</configuration>

f、vim slaves

//文件中添加每个从节点的主机名

PC02

PC03

9、复制hadoop到其它节点

因为设置了免密登陆，所以直接使用命令

scp -r /opt/hadoop-2.7.3 PC02:/opt

scp -r /opt/hadoop-2.7.3 PC03:/opt

10、复制/etc/profile到其它节点，并登陆到那台主机source使之生效(或者重启PC02、PC03)

scp  /etc/profile PC03:/etc

scp /etc/profile PC03:/etc

11.启动

hadoop namenode -format  -------格式化namenode

start-all.sh   启动hdfs

PC01(主节点ip):50070    ----网页查看