BigData_A_A_01-hdfs分布式文件系统（3）yarn高可用配置

最新推荐文章于 2023-06-26 14:06:18 发布
最新推荐文章于 2023-06-26 14:06:18 发布
阅读量258 收藏
点赞数
分类专栏： 大数据系列 Hadoop 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012848709/article/details/85215175
版权

楔子

Hadoop的学习 学习可以参考 此处视频
学习过程中 HDFS搭建还是基于Hadoop3 ，
但是在YARN的搭建就变为了 2.6.5版本 ?

环境节点分配

在这里插入图片描述

NN-1NN-2DN（DataNode）ZKZKFCJNN(JournalNode)RS(ResourceManager)NM(NodeManager)
had1***
had2******
had3*****
had4****

配置

1 配置在$HADOOP_HOME/etc/hadoop目录下面

[root@had1 hadoop]# cd $HADOOP_HOME

2 修改五个配置文件

hdfs配置需要

  1. hadoop-env.sh
  2. core-site.xml
  3. hdfs-site.xml

yarn配置

  1. yarn-site.xml
  2. mapred-site.xml

修改workers(添加节点的主机名称)

had2
had3
had4

3 配置免密登录

ssh-keygen #数个回车键
# 将公钥拷贝到其他节点，包括本机
ssh-copy-id root@had1
ssh-copy-id root@had2
ssh-copy-id root@had3
ssh-copy-id root@had4

YARN启动

之前已经启动过 hdfs 此处单单是启动yarn

start-yarn.sh

启动情况

在这里插入图片描述

HA测试

在这里插入图片描述

Overview 'had2:8020' (active)# 表示had2节点的namenode处于 active
Overview 'had1:8020' (standby)# 表示had1节点的namenode处于 备用
kill 进程ID
hdfs --daemon start namenode#启动namenode

YARN HA测试

http://had4:8088/

在这里插入图片描述

kill 进程ID
yarn --daemon start resourcemanager #启动

问题

启动yarn遇到如下问题

[root@had1 hadoop]# start-yarn.sh 
Starting resourcemanagers on [ had3 had4]
ERROR: Attempting to operate on yarn resourcemanager as root
ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
Starting nodemanagers
ERROR: Attempting to operate on yarn nodemanager as root
ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation.

在hadoop-env.sh添加相关用户

# yarn需要
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

全部配置文件内容

配置文件可以从此处下载

1 hadoop-env.sh

export JAVA_HOME=/usr/local/soft/jdk
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
#export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
# yarn需要
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2 core-site.xml

<configuration>
	<!-- 指定hadoop临时目录,默认在/tmp/{$user}目录下，不安全，每次开机都会被清空-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/data/hadoop_ha</value>
	</property>
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>
	<!-- 指定zookeeper地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>had2:2181,had3:2181,had4:2181</value>
	</property>
	<!-- 指定hdfs的nameservice名称空间为nameservices  与hdfs-site.xml (dfs.nameservices)保持一致   -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://mycluster</value>
	</property>
</configuration>

3 hdfs-site.xml

<configuration>
	<!--文件副本数量  -->
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<!-- NamoNode HA配置 -->
	<!-- core-site.xml 保持一致   -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
		<description>指定hdfs的nameservice为 mycluster ，需要和core-site.xml中的保持一致</description>
	</property>
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2</value>
		<description>ns命名空间下有两个NameNode，逻辑代号，随便起名字，分别是nn1，nn2</description>
	</property>
	<!--  nn1的RPC通信地址  -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>had1:8020</value>
	</property>
	<!--  nn2的RPC通信地址  -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>had2:8020</value>
	</property>
	<!-- n1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>had1:9870</value>
	</property>
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>had2:9870</value>
	</property>
	<!-- JNN(JournalNode)节点配置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://had1:8485;had2:8485;had3:8485/mycluster</value>
	</property>
	<!-- 故障转移代理类 -->
	<!-- 配置失败自动切换实现方式,使用内置的zkfc -->
	<property>
		<name>dfs.client.failover.proxy.provider.mycluster</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
		<description>配置隔离机制，多个机制用换行分割，先执行sshfence，执行失败后执行shell(/bin/true)，/bin/true会直接返回0表示成功</description>
	</property>
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/data/hadoopha/journal</value>
	</property>
	<!--namenode高可用主备切换配置 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
</configuration>

4 yarn-site.xml

<configuration>
	<!--NodeManager上运行的附属服务，需配置成mapreduce_shuffle，才可运行MapReduce程序-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 开启RM高可用 -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>

	<!-- 指定RM的cluster id，一组高可用的rm共同的逻辑id -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yarn-ha</value>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!-- 分别指定RM的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>had3</value>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>had4</value>
	</property>
	<!-- HTTP访问的端口号 -->
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>had3:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>had4:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>had2:2181,had3:2181,had4:2181</value>
	</property>
	<!-- 开启日志聚合 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 日志聚合HDFS目录 -->
	<property>
		<name>yarn.nodemanager.remote-app-log-dir</name>
		<value>/data/hadoop/yarn-logs</value>
	</property>
	<!-- 日志保存时间3days,单位秒 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>259200</value>
	</property>
</configuration>

5 mapred-site.xml

<configuration>
	<!-- 指定mr框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<!-- 历史日志服务jobhistory相关配置 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>had3:10020</value>
		<description>历史服务器端口号</description>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>had3:19888</value>
		<description>历史服务器的WEB UI端口号</description>
	</property>
	<property>
		<name>mapreduce.jobhistory.joblist.cache.size</name>
		<value>2000</value>
		<description>内存中缓存的historyfile文件信息(主要是job对应的文件目录)</description>
	</property>
</configuration>

后记

Hadoop2版本高可用可以参考这个

千里草竹
关注
专栏目录
hadoop系统-分布式文件系统 HDFS
汪云辉的博客
09-02 396
分布式文件系统 HDFS 1HDFS设计思路 2HDFS架构 1个NameNode/NN(Master) 带 DataNode/DN(Slaves) (Master-Slave结构) 1个文件会被拆分成多个Block NameNode(NN) 负责客户端请求的响应 负责元数据（文件的名称、副本系数、Block存放的DN）的管理 元数据 MetaData 描述数据的数据 监控DataN...
Hadoop CDH5.5.0 配置（Hdfs/Yarn HA）
12-18
之前一直在网上找社区版hadoop的配置，发现CDH安装直接界面搞定，自动生成配置。供检查学习。
hadoop核心组件分布式文件系统HDFS、资源调度管理系统YARN、分布式计算框架MapReduce
fort110的博客
02-10 1102
分布式存储系统的第一印象HDFS是基于谷歌的GFS的克隆版本HDFS的特点：可扩展性（当节点不够添加一台机器就可以了），可容错的（多副本的方式可存储的），海量数据的存储将上传文件切分成指定大小的数据块（128M）并以多副本的存储在多个机器上（处理对象任然是文件，具体的切分、多副本和容错由hadoop完成）fiflename文件名称numreplicas数据重复次数block-id被重复的数据编号资...
Hadoop-2.x 学习笔记（1） —— 分布式文件系统 HDFS 和分布式资管理 YARN
一角残叶的博客
01-12 314
1 HDFS 功能 NameNode.主节点，存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和块所在 DataNode; DataNode，在本地文件系统存储文件块数据，以及块数据的检验和； Secondary NameNode,监控 HDFS 状态的辅助后台程序，每隔一段时间获取 HDFS 元数据的快照； 2 YARN 功能 Reso...
bigdata之HDFS
JasonZhangOO的博客
10-01 802
学习本篇博客需要有hadoop的基础，可以先看我的上一篇博客简单介绍hadoop，http://blog.csdn.net/jasonzhangoo/article/details/52718729 分布式文件系统即HDFS，在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类，一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)，另一类叫“从
在HDFS-HA的基础上搭建:ResourceManager-HA
小丽
04-11 233
在HDFS-HA的基础上搭建： etc/hadoop/mapred-site.xml: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value>classic+lo...
HCIE-Big_Data-Data_Mining_V2.0实验及培训教材.rar
10-15
本教材会介绍大数据的基本概念，如Hadoop生态系统中的HDFS（分布式文件系统）、MapReduce（并行计算框架）以及YARN（资源管理系统），这些是大数据处理的基础架构。 二、数据挖掘与算法 数据挖掘是从大量数据中提取...
DSBDA_code_data-978-1-118-87613-8_fuelx4s_DSBDA_Big!_
10-01
8. **大数据架构**：可能会介绍大数据生态系统，如HDFS（Hadoop分布式文件系统）、YARN（资源调度器）等。 9. **实时和流式处理**：如果涉及“Big!”，那么可能会讨论实时数据分析和流计算，如Apache Flink或Kafka...
big_data_learning:动物园管理员，hadoop，mapredure分布式计算，hdfs
03-28
HDFS是分布式文件系统，提供高容错性和高可用性，使得数据可以在多台廉价服务器上分布式存储，而不是依赖于昂贵的硬件。它将大文件分割成多个块，并在集群中的不同节点上复制，确保即使有节点故障，数据仍然可以被...
hadoop集群启动失败YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
weixin_55008454的博客
09-01 4874
错误原因： Hadoop中没有默认root的用户，需要手动添加 添加再顶部 最后分发到其他节点
大数据学习1 - hadoop环境搭建及操作
weixin_52491597的博客
11-30 3713
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。[19]在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [1]中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
Hadoop 3.x 启动失败
LZW15082682930的博客
07-11 2931
Hadoop 启动失败
分布式资源调度和任务监控平台yarn之--yarn的配置
weixin_45484707的博客
08-20 625
配置yarn（所有操作都在hadoop安装目录下进行；qi’dogn’zhi） 1、cd /opt/apps/hadoop-3.2.1/etc/hadoop/ 目录下有一个yarn-site.xml，打开编辑模式 2、yarn-site.xml中，增加编辑如下： ```java <configuration> <!-- Site specific YARN configuration properties --> <!-- resource,manager主节点所在机器
Hadoop3.3.2部署常见问题详解
qq_22877119的博客
03-29 2873
Hadoop3.3.2部署常见问题详解编写说明问题说明问题1：root用户启动不了解决办法问题2：hdfs在安全模式解决办法问题3：运行圆周率计算demo范例，提示找不到resource-types.xml解决办法问题4：运行圆周率计算demo范例，提示java找不到解决办法 编写说明 首先按照hadoop官方文档搭建集群： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html 问题
Hadoop学记：五、单机部署
weixin_39327352的博客
07-20 1322
主要内容包括JobHistoryServer和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等。主要内容配置ResourceManager、NodeManager的通信端口，web监控端口等。主要内容用于定义系统级别的参数，如HDFS、URL、Hadoop的临时目录等。主要内容如名称节点和数据节点的存放位置、文件副本的个数、文件读取权限等。在start-yarn.sh与stop-yarn.sh顶部空白处加上。配置对象集群全局参数。检查是否能免密登录本机。...
Hadoop运行报ERROR: Attempting to operate on hdfs as root或者HDFS_ZKFC_USER defined错误的解决方法
最新发布
想你依然心痛的博客
06-26 5万+
修改start-yarn.sh和stop-yarn.sh。修改start-dfs.sh和stop-dfs.sh。使用root账号启动服务，但没预先定义。修改后重新启动Hadoop就成功了！欢迎start，欢迎评论，欢迎指正。
hadoop配置_Hadoop基础Yarn的基本配置(一)详细过程
weixin_39786706的博客
11-30 1215
大数据系统和分布式系统的参数配置是一个很依赖经验和技巧的工作，后续会详细的讲解如何通过参数配置进行性能优化。为了简单起见，本文和以前的文章HDFS的安装配置一样，只讨论最简单的基本配置。本文首先讨论了Yarn的背景知识，接着介绍详细的配置配置，最后介绍启动的操作。一、预备知识1.1 Yarn的角色及其在系统栈中的位置图1-1Yarn的角色及其在系统栈中的位置图1-1描述了Yarn在系统...
Hadoop单点安装FAQ
WuTing的专栏
04-12 2万+
Q1: Starting namenodes on [localhost] ERROR: Attempting to launch hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch. 解决1： 是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本 $ vim
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值