搭建hadoop集群

四台机器 hadoop1 为master 其他为 slave

设置scp

yum -y installopenssh-clients

修改主机名

配置地址映射（每一个都要配）

设置免密登录

cd /root/.ssh/    

ssh-keygen -t rsa

ssh-copy-id hadoop2

ssh-copy-id hadoop3

ssh-copy-id hadoop4

验证设置成功

安装jdk

拷贝安装包到其他机器

解压安装包

修改环境

vi /etc/profile

source /etc/profile

修改配置文件

hadoop-env.sh

core-site.xml

<!-- 指定HDFS老大（namenode）的通信地址 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://hadoop1:9000</value>

    </property>

    <!--指定hadoop运行时产生文件的存储路径 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/Hadoop/tmpdata</value>

    </property>

 

hdfs-site.xml

<!-- 设置namenode的http通讯地址-->

    <property>

        <name>dfs.namenode.http-address</name>

        <value>hadoop1:50070</value>

    </property>

 

    <!--设置namenode存放的路径 -->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/usr/Hadoop/namenode</value>

    </property>

 

    <!--设置hdfs副本数量 -->

    <property>

        <name>dfs.replication</name>

        <value>2</value>

    </property>

    <!--设置datanode存放的路径 -->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/usr/Hadoop/datanode</value>

    </property>

 

mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

 </property>

yarn-site.xml

<!-- 设置 resourcemanager 在哪个节点-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop1</value>

    </property>

 

    <!-- reducer取数据的方式是mapreduce_shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

 

    <property>

         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

         <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

 

 

 

将文件复制到其他机器

格式化NameNode

hadoop namenode –format

开启集群

./sbin/start-all.sh

验证是否正常开启

jps

切记不要多次格式化，否则会无法开启DataNode（解决办法删除namenode,datanode,tmpdata）

欢迎补充