Hadoop集群完全分布式配置与启动

最新推荐文章于 2025-03-18 11:51:55 发布
最新推荐文章于 2025-03-18 11:51:55 发布
阅读量1.4k 收藏 14
点赞数 25
文章标签： hadoop hdfs yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z19903763213/article/details/143064307
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

集群配置

集群部署规划
注意：
1.NameNode和SecondaryNameNode不要安装在同一台服务器
2.ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。
配置文件说明
Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。
自定义配置文件：
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。
切换到hadoop3.4.0目录下的etc/hadoop/目录中
在这里插入图片描述

1.配置核心文件core-site.xml

vim core-site.xml

添加如下内容

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.4.0/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为   -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>sea</value>
    </property>
</configuration>

2.HDFS配置文件hdfs-site.xml

vim hdfs-site.xml

添加如下内容

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

3.YARN配置文件yarn-site.xml、配置日志的聚集

vim yarn-site.xml

添加如下内容

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>



    <!-- 开启日志聚集功能 -->
	<property>
    	<name>yarn.log-aggregation-enable</name>
    	<value>true</value>
	</property>
	<!-- 设置日志聚集服务器地址 -->
	<property>  
    	<name>yarn.log.server.url</name>  
    	<value>http://hadoop102:19888/jobhistory/logs</value>
	</property>
	<!-- 设置日志保留时间为7天 -->
	<property>
    	<name>yarn.log-aggregation.retain-seconds</name>
    	<value>604800</value>
	</property>
</configuration>

4.MapReduce配置文件mapred-site.xml、配置历史服务器

vim mapred-site.xml

添加如下内容

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>



    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.4.0</value>
        </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.4.0</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.4.0</value>
    </property>



    <!-- 历史服务器端地址 -->
	<property>
    	<name>mapreduce.jobhistory.address</name>
    	<value>hadoop102:10020</value>
	</property>

	<!-- 历史服务器web端地址 -->
	<property>
    	<name>mapreduce.jobhistory.webapp.address</name>
    	<value>hadoop102:19888</value>
	</property>
</configuration>

在集群上分发配置好的Hadoop配置文件

5.配置workers

打开hadoop目录下的etc/hadoop/workers文件

vim /opt/module/hadoop-3.4.0/etc/hadoop/workers

添加如下内容，本次三台虚拟机
注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

hadoop102
hadoop103
hadoop104

同步所有节点配置文件

xsync /opt/module/hadoop-3.4.0/etc

在这里插入图片描述

启动集群

1.初启格式化

如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。
在hadoop102上执行

hdfs namenode -format

在这里插入图片描述

2.启动HDFS

sbin/start-dfs.sh

Web端查看HDFS的NameNode
在浏览器中输入：http://hadoop102:9870

在这里插入图片描述

3.启动YARN

在配置了ResourceManager的节点（hadoop103）启动YARN

sbin/start-yarn.sh

使用jps查看情况
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Web端查看YARN的ResourceManager
在浏览器中输入：http://hadoop103:8088
在这里插入图片描述

4.历史服务器、日志聚集启动、

为了查看程序的历史运行情况，需要启动历史服务器
启动HistoryServer

mapred --daemon start historyserver

在这里插入图片描述

集群基本测试

1.上传文件到集群

在根目录下创建目录

hadoop fs -mkdir /wcinput

查看web情况，随时刷新
在这里插入图片描述
上传文件 将当前目录下的LICENSE.txt 传到/wcinput

hadoop fs -put LICENSE.txt  /wcinput

在这里插入图片描述
查看文件内容或者下载
在这里插入图片描述

2.HDFS文件存储路径

data/dfs/data/current/BP-48563595-192.168.152.102-1730517527913/current/finalized/subdir0/subdir0/

在这里插入图片描述

3.拼接

假设一个文件由下面两个文件块存储，可以将两个文件块拼接在一起组成一个压缩包，将其解压就是原先的完整文件

cat blk_1073741836>>tmp.tar.gz
cat blk_1073741837>>tmp.tar.gz
tar -zxvf tmp.tar.gz

4.下载

将web中根目录下曾上传的文件下载到当前目录下

hadoop fs -get /wcinput/LICENSE.txt ./

5.执行wordcount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar  wordcount /wcinput /wcoutput

若配置文件mapred-site.xml文件与前面配置文件内容一样，则跳过下述问题即可
可能出现的问题：只有tmp，没有output文件夹
在这里插入图片描述
报错如下
在这里插入图片描述
解决方法：向hadoop-3.4.0/etc/hadoop/mapred-site.xml文件修改成如下内容

<configuration>
        <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.4.0</value>
        </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.4.0</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.4.0</value>
    </property>

</configuration>

再重新分发配置文件
再次执行wordcount
在这里插入图片描述
下面出现wcoutput即成功
在这里插入图片描述

6.查看历史服务器

web中YARN的ResourceManager可进入查看程序的历史运行情况
历史服务器地址
http://hadoop102:19888/jobhistory
在这里插入图片描述
在这里插入图片描述

在mapred-site.xml中历史服务器配置如下，已在前面文件配置时配置过了

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

7.查看日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
在这里插入图片描述
在历史服务器地址http://hadoop102:19888/jobhistory查看任务运行日志
在这里插入图片描述
在这里插入图片描述

集群启动/停止方式

1.各个模块分开启动/停止（配置免密ssh是前提）

执行文件均在hadoop3.4.0/sbin目录下
（1）整体启动/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整体启动/停止YARN

start-yarn.sh/stop-yarn.sh

2.各个服务组件逐一启动/停止

（1）分别启动/停止HDFS组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）启动/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager
Dylan Hill
关注
Hadoop-完全分布式配置-集群配置
TrueDei
01-30 1030
本文是根据尚硅谷的视频教学，然后加上自己理解总结的。 配置hdfs和yarn如下： 所有的配置文件都在/opt/module/hadoop-2.7.7/etc/hadoop目录下。 [root@hadoop102 hadoop]# [root@hadoop102 hadoop]# pwd /opt/module/hadoop-2.7.7/etc/hadoop [root@hadoop102 h...
Hadoop完全分布式配置
yandao的博客
04-18 6323
1.虚拟机环境准备 1.1 克隆虚拟机 1.2. 修改克隆虚拟机的静态IP 机器名 静态IP master 192.168.121.151 slaver1 192.168.121.152 slaver2 192.168.121.153 [root@master Desktop]# vi /etc/sysconfig/network-scripts/ifcfg-eno16777736 #输入以下内容 DEVICE=eno16777736 TYPE=Ethernet ONB
Hadoop集群如何启动
qq_28725295的博客
02-01 1923
Hadoop集群如何启动 1 hadoop软件安装的目录：/opt/app 有如下软件：hbase、spark-2.1.0-bin-hadoop2.4、hbconf、sqoop、hdconf、hive、zookper-3.4.6、hadoop-2.5.2、java1.8.0_121、spark-1.5.2-bin-2.5.2 集群1（分析集群）启动 依次zookper、hadoop服务、spark...
Hadoop集群安装详细步骤|Hadoop安装配置
yymmiinngg的专栏
07-06 432
Hadoop集群安装 　　首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。　　Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。　　准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6...
配置并启动Hadoop集群
最新发布
2501_90813563的博客
03-18 408
可以查看各个节点启动的进程。在浏览器输入master的ip 172.18.0.2:9870 查看节点状态。目录下的配置文件，这里仅设置正常启动必须的设置项，包括。4、修改文件mapred-site.xml。5、修改文件yarn-site.xml。6、修改文件hadoop-env.sh。2、修改文件core-site.xml。3、修改文件hdfs-site.xml。(3.x需要配置)共6个文件。配置集群环境时，需要修改。1、修改文件workers。将整个文件替换为如下内容。
Hadoop分布式集群配置
weixin_33989058的博客
09-09 101
硬件环境：   安装一个Hadoop集群时，需要专门指定一个服务器作为主节点。 三台虚拟机搭建的集群：（搭建集群时主机名不能一样，主机名在/etc/hostname修改） master机器：集群的主节点，驻留NameNode和JobTracker守护进程）            dbrg1  192.168.0.102 slaves机器：（集群的从节点，驻留DataNode和Tas...
Hadoop集群的启动
weixin_44943389的博客
09-30 7409
在首次启动Hadoop之前还需要进行一些配置工作我们是在Linux集群上安装Hadoop集群。
Hadoop集群完全分布式的搭建~（超详细版）来了
不曾与你分享的时间，我都在努力，时间是最好的答案!
03-11 1306
此篇文章虽然详细地描述，Hadoop集群的搭建流程，但比较适合有一定Linux系统基础的友友们，新手也不用太担心哈，跟着步骤操作下去就没有太大问题哈，我写的几篇文章是相互贯通的，友友们可以参考参考一下哈，相信友友们一定会有收获的
Hadoop集群完全分布式配置教程
自定义脚本xcall-完全分布式集群配置.zip" 是一份关于Hadoop集群配置的教程资源。Hadoop作为一个开源的分布式存储和计算框架，广泛应用于处理大数据。本资源中提到的“自定义脚本xcall”是用于简化完全分布式集群...
【hadoop】完全分布式集群部署
m0_71892364的博客
06-13 449
完全分布式模式：是多台服务器组成的分布式环境，安全系数比较高。当企业在工作时，数据的安全是非常重要的，当我们一个主机出现故障的时候，如果我们使用的是伪分布，这种是单机运行的，出现故障也容易造成不可挽回的损失。但是完全分布式就能够解决这个问题，它最少有三个主机，当主节点出现宕机的时候，从节点就会补上。
hadoop集群启动
让，
05-03 162
master上配置的 namenode， slave1上配置的 resourcemanager， slave2上配置的 secondarynamenode master : start-dfs.sh slave1 : start-yarn.sh 问题：显示50010 端口被占用， root 和 hadoop 用户登录 ，jps查看 显示的内容不一样， 关闭集群后重启集群 FATAL org.apache.hadoop....
Hadoop启动集群
m0_65136138的博客
07-13 935
1 配置workers添加以下内容：hadoop102 hadoop103 hadoop104 配置这个文件是为了说明有多少台主机配置好后一样要分发到其他机器中2 启动集群如果是第一次启动，要在hadoop102上格式化NameNode(我把它配置在了Hadoop102)语法：启动HDFS在配置了ResourceManager的节点（hadoop103)上启动YarnHadoop提供了在网页端查看NameNode和Yarn的网页 （a）浏览器中输入：http://hadoop102:9870
hadoop集群启动（基础篇）
建建的博客
08-30 414
hadoop集群 centos安装及网络配置 – 虚拟机安装以在之前出过博客 点击链接 – 以及网络配置 点击链接 jdk安装 – jdk环境安装会单独出一篇博客 hadoop安装 – hadoop单独出一片博客 修改hosts文件 vi /etc/hosts #添加以上字段 前面为ip地址 后面为hostname(方便记忆) 克隆虚拟机并修改各自ip地址 修改hostname vi /etc/hostname # 修改为相应的hostname # 比如hadoop151...
hadoop 安装配置启动
weixin_33797791的博客
07-18 172
1. Ubuntu12.04基本设置 1) 设置与Windows共享(通过hgfs) 2) 设置root密码 sudo passwd root 3) 设置root登录 vim /etc/lightdm/lightdm.conf 在最后添加一行：greeter-show-manual-...
Hadoop 分布式集群搭建
slb190623的博客
08-25 2056
Hadoop 分布式集群搭建
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值