hadoop环境官方文档（二）完全分布式搭建

首先学习hadoop集群搭建，最好的方法还是去多看官方文档里面包含各种环境搭建的过程和原因。

官方文档：https://hadoop.apache.org/docs/r2.5.2/

下载hadoop2.5.0  ：http://archive.apache.org/dist/hadoop/common/

（这里有hadoop历史上的所有的版本，不过2.5.0版本是相对很稳定的版本，比较适合学习）

首先说明，hadoop环境搭建共分为四种方式：（安装hadoop之前需要安装jdk并且配置环境变量）

我的三台机器名分别是  bigdata-senior01   bigdata-senior02   bigdata-senior03

完全分布式搭建，配置文件如下：

hadoop-env.sh

mapred-env.sh

yarn-eng.sh

首先这三个配置JAVA_HOME 对应自己的目录

hdfs-site.xml文件

<configuration>
<!--配置secondaeynamenode 配置位置放在03台机器上-->
     <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata-senior03:50090</value>
    </property>

</configuration>
 

core-site.xml文件

<configuration>
  <!--指定hdfs文件系统和运行的机器名-->
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://bigdata-senior01:8020</value>
 </property>
  <!--设置临时目录文件-->
  <property>
 <name>hadoop.tmp.dir</name>
  <value>/opt/app/hadoop-2.5.0/data/tmp</value>
  </property>
 
 <!--设置垃圾箱自动清理时间-->
   <property>
 <name>fs.trash.interval</name>
  <value>4200</value>
  </property>

  
</configuration>
 

mapred-site.xml

<configuration>
 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
<!--配置historyserver服务的两项配置-->
<property>
        <name>mapreduce.jobhistory,address</name>
        <value>bigdata-senior01:10020</value>
    </property>
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdata-senior01:19888</value>
    </property>

</configuration>
 

 

yarn-site.xml

<configuration>
     <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
      <property>
        <name>yarn.nodemanager.cpu-vcores</name>
        <value>4</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--设置resourcemanage的配置映射主机名-->
   <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdata-senior02</value>
    </property>

   <!--hdfs文件聚集设置-->
   <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

<!--设置保存日志文件时间 设置为七天-->
   <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>640800</value>
    </property>

</configuration>
 

slaves

bigdata-senior01
bigdata-senior02
bigdata-senior03

虚拟机配置ip和主机名的映射

vi /etc/hosts