Hadoop 伪分布式运行模式_伪分布式hadoop-CSDN博客

本文链接：https://blog.csdn.net/l18339702017/article/details/105935916

本文详细介绍了Hadoop伪分布式运行模式，包括启动HDFS并运行MapReduce程序、启动YARN并运行MapReduce、配置历史服务器以及日志聚集。涵盖了从环境配置、集群启动到执行MapReduce任务的全过程，并强调了日志查看和管理的重要性。

摘要由CSDN通过智能技术生成

3 Hadoop 伪分布式运行模式

3.1 启动HDFS 并运行 MapReduce 程序

3.1.1 分析

3.1.2 执行步骤

3.2 启动YARN 并运行 MapReduce 程序

3.2.1 分析

3.2.2 执行步骤

3.3 配置历史服务器

3.3.1 配置mapred-site.xml

3.4.1 配置yarn-site.xml

3.4.2 关闭NodeManager 、ResourceManager和HistoryManager

3.4.3 启动NodeManager 、ResourceManager和HistoryManager

3.4.4 删除HDFS上已经存在的输出文件

3.4.5 执行WordCount程序

3.4.6 查看日志

3.5 配置文件说明

3 Hadoop 伪分布式运行模式

3.1 启动HDFS 并运行 MapReduce 程序

3.1.1 分析

（1）配置集群
（2）启动、测试集群增、删、查
（3）执行WordCount案例

3.1.2 执行步骤

3.1.2.1 配置集群

3.1.2.1.1 配置 hadoop-env.sh

[atlingtree@hadoop100 hadoop-2.9.2]$ cd etc/hadoop/
[atlingtree@hadoop100 hadoop]$ vim hadoop-env.sh

将文件中的JAVA_HOME修改成对应的位置，保存退出。

3.1.2.1.2 配置core-site.xml

[atlingtree@hadoop100 hadoop]$ vim core-site.xml

添加如下配置：

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop100:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.9.2/data/tmp</value>
</property>

3.1.2.1.3 配置：hdfs-site.xml

[atlingtree@hadoop100 hadoop]$ vim hdfs-site.xml

添加如下配置：

<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>

3.1.2.2 启动集群

3.1.2.2.1 格式化NameNode

[atlingtree@hadoop100 hadoop]$ cd /opt/modules/hadoop-2.9.2/
[atlingtree@hadoop100 hadoop-2.9.2]$ bin/hdfs namenode -format

3.1.2.2.2 启动NameNode

[atlingtree@hadoop100 hadoop-2.9.2]$ sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/modules/hadoop-2.9.2/logs/hadoop-atlingtree-namenode-hadoop100.out

3.1.2.2.3 启动DataNode

[atlingtree@hadoop100 hadoop-2.9.2]$ sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/modules/hadoop-2.9.2/logs/hadoop-atlingtree-datanode-hadoop100.out

3.1.2.3 查看集群

3.1.2.3.1 查看是否启动成功

[atlingtree@hadoop100 hadoop-2.9.2]$ jps
3351 NameNode
3449 DataNode
3499 Jps

3.1.2.3.2 web端查看HDFS文件系统

打开浏览器输入 http://hadoop101:50070/

可以查看HDFS运行

P.S 请修改本地hosts文件

C:\Windows\System32\drivers\etc\hosts

在最后添加如下内容

注意：如果不能查看，看如下帖子处理

http://www.cnblogs.com/zlslch/p/6604189.html

3.1.2.3.3 查看产生的Log日志

说明：在企业中遇到Bug时，经常根据日志提示信息去分析问题、解决Bug。

[atlingtree@hadoop100 ~]$ cd /opt/modules/hadoop-2.9.2/logs/
[atlingtree@hadoop100 logs]$ ls
hadoop-atlingtree-datanode-hadoop100.log
hadoop-atlingtree-datanode-hadoop100.out
hadoop-atlingtree-namenode-hadoop100.log
hadoop-atlingtree-namenode-hadoop100.out
SecurityAuth-atlingtree.audit

3.1.2.3.4 格式化NameNode需要注意的问题

格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。

[atlingtree@hadoop100 hadoop-2.9.2]$ rm -rf data/ logs/
[atlingtree@hadoop100 hadoop-2.9.2]$ bin/hdfs namenode -format

3.1.2.4 操作集群

3.1.2.4.1 在在HDFS文件系统上创建一个input文件夹

[atlingtree@hadoop100 hadoop-2.9.2]$ bin/hdfs dfs -mkdir -p