伪分布式集群模式（9）

注意：

伪分布式模式是在JDK、Hadoop安装好的情况下搭建的

 

etc目录下配置：/opt/module/hadoop-2.7.2/etc/hadoop

配置HDFS

1、配置集群

1）hadoop-env.sh（25行）（修改为绝对路径）

export JAVA_HOME=/opt/module/jdk1.8.0_144

2）core-site.xml修改，插入以下内容

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>

3）hdfs-site.xml修改，插入以下内容

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
</configuration>

2、启动集群

    1）格式化NameNode（第一次启动时格式化，以后就不要总格式化）生成一个namenode文件夹 

        [atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode -format 

    2）启动NameNode 

        [atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode 

    3）启动DataNode 

        [atguigu@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

3、查看集群

[atguigu@hadoop101 hadoop-2.7.2]$ jps

27619 Jps

27258 DataNode

26959 NameNode

4、查看log日志

[atguigu@hadoop101 logs]$ ll
总用量 60
-rw-rw-r--. 1 atguigu atguigu 23930 8月  15 14:31 hadoop-atguigu-datanode-hadoop101.log
-rw-rw-r--. 1 atguigu atguigu   719 8月  15 14:31 hadoop-atguigu-datanode-hadoop101.out
-rw-rw-r--. 1 atguigu atguigu 27686 8月  15 14:31 hadoop-atguigu-namenode-hadoop101.log
-rw-rw-r--. 1 atguigu atguigu   719 8月  15 14:24 hadoop-atguigu-namenode-hadoop101.out
-rw-rw-r--. 1 atguigu atguigu     0 8月  15 14:24 SecurityAuth-atguigu.audit

5、web查看HDFS系统

     http://hadoop101:50070/dfshealth.html#tab-overview

 

思考：为什么不能一直格式化namenode，格式化namenode时，要注意什么？

    删除data  和 logs 文件（直接删除hadoop下的data和logs文件夹）

 

配置YARN

1、配置集群

1）配置yarn-env.sh

    配置一下JAVA_HOME

    23行 export JAVA_HOME=/opt/module/jdk1.8.0_144

2）配置yarn-site.xml

<!-- reducer获取数据的方式 --> 
<property>  
<name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
</property>   
<!-- 指定YARN的ResourceManager的地址 --> 
<property> 
    <name>yarn.resourcemanager.hostname</name> 
<value>hadoop101</value> 
</property>
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

3）配置：mapred-env.sh

    配置一下JAVA_HOME 

    export JAVA_HOME=/opt/module/jdk1.8.0_144

4）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

[atguigu@hadoop101 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<!-- 配置历史服务器 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
</property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>

2、启动集群

1）启动前必须保证namenode和datanode已经启动

2）启动resourcemanager

    [atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager

3）启动nodemanager

    [atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

3、集群操作

     http://hadoop101:8088/cluster

配置历史服务器

1、上面已配置mapred-site.xml

2、查看启动历史服务器文件目录

    [atguigu@hadoop101 hadoop-2.7.2]$ ls sbin/ | grep mr

    mr-jobhistory-daemon.sh

3、启动历史服务器

    [atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4、查看历史服务器是否启动

    [atguigu@hadoop101 hadoop-2.7.2]$ jps

5、查看jobhistory

    http://hadoop101:19888/jobhistory

配置日志聚集功能

日志聚集概念：应用运行完成以后，将日志信息上传到HDFS系统上

1、上面已配置yarn-site.xml

2、关闭nodemanager 、resourcemanager和historymanager

 [atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
 [atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
 [atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver

3、启动nodemanager 、resourcemanager和historymanager

 [atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
 [atguigu@hadoop101 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
 [atguigu@hadoop101 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

4、删除hdfs上已经存在的hdfs文件

    [atguigu@hadoop101 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/atguigu/output

5、执行wordcount程序

[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/atguigu/input /user/atguigu/output

6、查看日志

    http://hadoop:19888/jobhistory