【三】hadoop分布式配置(HA高可用)

最新推荐文章于 2024-05-15 04:58:10 发布
最新推荐文章于 2024-05-15 04:58:10 发布
阅读量964 收藏 8
点赞数
分类专栏： hadoop 文章标签： hadoop hadoop分布式 HA 高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jy02268879/article/details/80245881
版权

环境ubuntu16.04

 

这里有4台虚拟机ABC

A的IP 192.168.2.103

B的IP 192.168.2.104

C的IP 192.168.2.106

D的IP 192.168.2.107

 

节点配置情况如下

 

 

NN

DN

ZK

ZKFC

JN

RM

NM

Node1

Y

 

Y

Y 

 

Y

 

Node2

Y

Y

Y

Y

Y

 

Y

Node3

 

Y

Y

 

Y

 

Y

Node4

 

Y

 

 

Y

 

Y

 

ZKFC必须和NN在同一个机器上。DM最好和DN在同一个机器上。

 

1.前期准备（每台机器）

 

虚拟机配置固定IP

安装SSH

安装集群版Zookeeper

2.修改ABCD虚拟机的hostname

vi /etc/hostname

 

A的hostname改为 node1

B的hostname改为 node2

C的hostname改为 node3

D的hostname改为 node4

 

3.修改虚拟机的Hosts

vi /etc/hosts

加入以下内容（四台加一样的）

 

192.168.2.103    node1

192.168.2.104    node2

192.168.2.106    node3

192.168.2.107    node4

 

4.查看每台机器是否能相互ping通

 

5. 创建用户和用户组（四台机器都一样的操作）

 

创建用户组 addgroup hadoop

创建用户 adduser -ingroup hadoop hadoop

 

6.给hadoop用户添加权限（四台机器都一样的操作）

vi /etc/sudoers

在root    ALL=(ALL:ALL) ALL下面添加一行

hadoop    ALL=(ALL:ALL) ALL

 

7.四台机器以hadoop用户登录

su hadoop

 

8.安装JAVA（四台机器都一样的操作）

安装步骤：Linux安装JAVA

 

9.配置SSH让各节点之间实现相互免密码登录

如果没有请看配置步骤：SSH免密码登录

 

10.hadoop安装（如无特别说明，四台机器都一样的操作）

 

创建路径

mkdir /app/hadoop

cd /app/hadoop

下载（直接在/app/hadoop里面下载）

wget http://mirror.bit.edu.cn/apache/hadoop/common/stable/hadoop-2.9.0.tar.gz

解压

tar -zxvf hadoop-2.9.0.tar.gz

创建文件夹

mkdir /app/hadoop/dfs

mkdir /app/hadoop/dfs/name

mkdir /app/hadoop/dfs/data

mkdir /app/hadoop/tmp

 

修改配置文件 hadoop-env.sh

vi /app/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh

 

修改JAVA_HOME的值

export JAVA_HOME=/app/java/jdk1.8.0_101

 

修改配置文件slaves 配置datanode

 

vi /app/hadoop/hadoop-2.9.0/etc/hadoop/slaves

将内容改为

node2

node3

node4

 

修改配置文件core-site.xml

vi /app/hadoop/hadoop-2.9.0/etc/hadoop/core-site.xml

<configuration>
    <!-- namenode的入口 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoopcluster</value>   
    </property>
    <!-- 配置HDFS的工作目录（元数据加载在这里） -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop/tmp</value>
    </property>  
    <!-- 配置zookeeper的集群 -->
    <property>
       <name>ha.zookeeper.quorum</name>
       <value>node1:2181,node2:2181,node3:2181</value>
    </property>
</configuration>

 

修改配置文件hdfs-site.xml

创建JournalNode在本地磁盘存放数据的位置

mkdir /app/hadoop/journaldata

vi /app/hadoop/hadoop-2.9.0/etc/hadoop/hdfs-site.xml       

<configuration>
	<!--指定hdfs的nameservice，需要和core-site.xml中的保持一致 -->
	<property>
	<name>dfs.nameservices</name>
	<value>hadoopcluster</value>
	</property>

	<!-- 配置所有的NameNode的名字，分别是nn1，nn2 -->
	<property>
	<name>dfs.ha.namenodes.hadoopcluster</name>
	<value>nn1,nn2</value>
	</property>

	<!-- nn1的RPC协议的IP和端口 -->
	<property>
	<name>dfs.namenode.rpc-address.hadoopcluster.nn1</name>
	<value>node1:8020</value>
	</property>

	<!-- nn1的http通信地址 -->
	<property>
	<name>dfs.namenode.http-address.hadoopcluster.nn1</name>
	<value>node1:50070</value>
	</property>

	<!-- nn2的RPC协议的IP和端口 -->
	<property>
	<name>dfs.namenode.rpc-address.hadoopcluster.nn2</name>
	<value>node2:8020</value>
	</property>

	<!-- nn2的http通信地址 -->
	<property>
	<name>dfs.namenode.http-address.hadoopcluster.nn2</name>
	<value>node2:50070</value>
	</property>


	<!-- 配置NameNode的元数据在JournalNode上的存放位置 配置所有JournalNode的IP和端口 -->
	<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://node2:8485;node3:8485;node4:8485/hadoopcluster</value>
	</property>

	<!-- 配置JournalNode在本地磁盘存放数据的位置 -->
	<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/app/hadoop/journaldata</value>
	</property>

	<!-- 开启NameNode失败自动切换 -->
	<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
	</property>

	<!-- 配置失败自动切换实现方式 客户端使用这个类去找到active namenode-->
	<property>
	<name>dfs.client.failover.proxy.provider.hadoopcluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>

	<!-- 配置隔离机制方法-->
	<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
	</property>

	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_dsa.pub</value>
	</property>

	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
	<name>dfs.ha.fencing.ssh.connect-timeout</name>
	<value>30000</value>
	</property>
</configuration>

 

修改配置文件mapred-site.xml

cd /app/hadoop/hadoop-2.9.0/etc/hadoop

scp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml   

 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>node1:10020</value>
  </property>

  <property>

          <name>mapreduce.jobhistory.webapp.address</name>
          <value>node1:19888</value>
  </property>

在windows中的eclipse运行提交到linux上的集群，需要添加一下配置

不然报错/bin/bash: line 0: fg: no job control

  <property>
    <name>mapreduce.app-submission.cross-platform</name>
    <value>true</value>
  </property>

<property>
    <name>mapreduce.application.classpath</name>
    <value>
        /app/hadoop/hadoop-2.9.0/etc/hadoop,
        /app/hadoop/hadoop-2.9.0/share/hadoop/common/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/common/lib/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/hdfs/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/hdfs/lib/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/mapreduce/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/mapreduce/lib/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/yarn/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/yarn/lib/*
    </value>
</property>    

修改配置文件yarn-site.xml

cd /app/hadoop/hadoop-2.9.0/etc/hadoop

vi yarn-site.xml

<configuration>
 
	<!-- Site specific YARN configuration properties -->
	<!-- 开启RM高可用 -->
	<property>
	  <name>yarn.resourcemanager.ha.enabled</name>
	  <value>true</value>
	</property>
	
	<!-- 指定RM的cluster id -->
	<property>
	  <name>yarn.resourcemanager.cluster-id</name>
	  <value>yrc</value>
	</property>
	
	<!-- 指定RM的名字 -->
	<property>
	  <name>yarn.resourcemanager.ha.rm-ids</name>
	  <value>rm1,rm2</value>
	</property>
	
	<!-- 分别指定RM的地址 -->
	<property>
	  <name>yarn.resourcemanager.hostname.rm1</name>
	  <value>node1</value>
	</property>
	<property>
	  <name>yarn.resourcemanager.hostname.rm2</name>
	  <value>node2</value>
	</property>
	
	<!-- 启用RM重启的功能-->
	<property>  
		<name>yarn.resourcemanager.recovery.enabled</name>  
		<value>true</value> 
		<description>启用RM重启的功能，默认为false</description>
	</property> 
	<property>  
		<name>yarn.resourcemanager.store.class</name>  
		<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> 
		<description>用于状态存储的类，采用ZK存储状态类</description>
	</property> 
	 
	<!-- 指定zk集群地址 -->
	<property>
	  <name>yarn.resourcemanager.zk-address</name>
	  <value>node1:2181,node2:2181,node3:2181</value>
	</property>
	
	<!-- 指定做中间数据调度的时候使用的是哪一种机制 -->
	<property>
	  <name>yarn.nodemanager.aux-services</name>
	  <value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>node1:8088</value>
		<description>提供给web页面访问的地址，可以查看任务状况等信息</description>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>node2:8088</value>
		<description>提供给web页面访问的地址，可以查看任务状况等信息</description>
	</property>
	
	<!-- 配置通讯的地址和端口，有多少个RM就配置多少组property -->
			<!-- RM1-->
		<property>
			<name>yarn.resourcemanager.scheduler.address.rm1</name>
			<value>node1:8030</value>
		</property>
		<property>
			<name>yarn.resourcemanager.resource-tracker.address.rm1</name>
			<value>node1:8031</value>
		</property>
		<property>
			<name>yarn.resourcemanager.address.rm1</name>
			<value>node1:8032</value>
		</property>
		<property>
			<name>yarn.resourcemanager.admin.address.rm1</name>
			<value>node1:8033</value>
		</property>
			<!-- RM2 -->
		<property>
			<name>yarn.resourcemanager.scheduler.address.rm2</name>
			<value>node2:8030</value>
		</property>
		<property>
			<name>yarn.resourcemanager.resource-tracker.address.rm2</name>
			<value>node2:8031</value>
		</property>
		<property>
			<name>yarn.resourcemanager.address.rm2</name>
			<value>node2:8032</value>
		</property>
		<property>
			<name>yarn.resourcemanager.admin.address.rm2</name>
			<value>node2:8033</value>
		</property>
</configuration>

在windows中的eclipse运行提交到linux上的集群，需要添加一下配置

不然报错/bin/bash: line 0: fg: no job control

<property>
    <name>yarn.application.classpath</name>
    <value>
        /app/hadoop/hadoop-2.9.0/etc/hadoop,
        /app/hadoop/hadoop-2.9.0/share/hadoop/common/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/common/lib/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/hdfs/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/hdfs/lib/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/mapreduce/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/mapreduce/lib/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/yarn/*,
        /app/hadoop/hadoop-2.9.0/share/hadoop/yarn/lib/*
    </value>

</property>

配置环境变量

sudo vi /etc/profile

在文件末尾加上

export HADOOP_HOME=/app/hadoop/hadoop-2.9.0

export PATH=:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

使修改的环境变量生效

source /etc/profile

 

配置完成后

启动zookeeper集群，即在node1,node2,node3上启动:

cd /app/zookeeper/bin

./zkServer.sh start

启动journalnode，即在node2,node3,node4上启动:

cd /app/hadoop/hadoop-2.9.0/sbin

./hadoop-daemon.sh start journalnode

 

在任意一台有namenode的机器上格式化namenode(这里在node1上)：

cd /app/hadoop/hadoop-2.9.0/bin

./hdfs namenode -format

启动这个已经格式化了的namenode(node1)

cd /app/hadoop/hadoop-2.9.0/sbin

./hadoop-daemon.sh start namenode

把这个namenode(node1)上的元数据文件拷贝到其他namenode(node2)上去：

在没有格式化namenode(node2)的机器上执行：

cd /app/hadoop/hadoop-2.9.0/bin

./hdfs namenode -bootstrapStandby

在任意一台namedoe(node1)上格式化ZKFC

cd /app/hadoop/hadoop-2.9.0/bin

./hdfs zkfc -formatZK

 

停止HDFS所有服务

cd /app/hadoop/hadoop-2.9.0/sbin

./stop-dfs.sh

 

启动hadoop

(只在namenode(node1))

cd /app/hadoop/hadoop-2.9.0/sbin

./start-all.sh

 

四台机器输入jps查看是否正确启动

node1

node2

node3

node4

 

11.在hadoop集群运行任务(只用在namenode上面执行,即是node1)

在HDFS上创建路径

cd /app/hadoop/hadoop-2.9.0/bin

hdfs dfs -mkdir -p /data/input

 

将要计数的文件放到HDFS上

hdfs dfs -put ~/wordcount.txt /data/input

 

查看是否将文件放到了HDFS上

hdfs dfs -ls /data/input

 

运行单词统计任务

cd /app/hadoop/hadoop-2.9.0

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount /data/input /data/output/wordcount

 

查看结果

hdfs dfs -cat /data/output/wordcount/part-r-00000 

 

图形化信息界面用node1的IP

http://node1:50070

http://node2:50070

http://node1:8088

 

jy02268879
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop namenode 高可用（HA）搭建指南 QJM方式
dangyifei
05-13 1万+
一、HDFS的高可用性 1.概述          本指南提供了一个HDFS的高可用性（HA）功能的概述，以及如何配置和管理HDFS高可用性(HA)集群。本文档假定读者具有对HDFS集群的组件和节点类型具有一定理解。有关详情，请参阅Apache的HDFS的架构指南。 http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-s
Hadoop3.x入门-搭建3节点Hadoop HA集群
小末的博客
04-04 3309
1.前言 本文档适合3节点的Hadoop 高可用（HA：High Available）测试集群集群的搭建。 在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。 本文在上一篇的基础上修改一些配置，将Hadoop集群改造为高可用集群。如果用上一篇文章搭建的集群，首先关闭集群所有进程，删除$HADOOP_HOME/data
Hadoop cluster HA 客户端操作 Yarn高可用
qingwei201314的专栏
06-08 250
一、通过QJM模式部署Hadoop HA 三台机器：192.168.86.130、192.168.86.131、192.168.86.132 1.部署zookeeper，分别在三台机器上部署zookeeper,配置文件zoo.cfg内容如下： tickTime=2000 dataDir=/usr/local/zookeeper-3.6.1/data clientPort=2181 initLimit=5 syncLimit=2 server.130=192.168.86.130:2888:.
2024年最新【亲测】Hadoop 高可用集群搭建 与 开发环境部署，2024年最新高级web前端面试答案解析
最新发布
2401_84619185的博客
05-15 611
为了帮助大家更好的了解前端，特别整理了《前端工程师面试手册》电子稿文件。开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】要运行 MapReduce 程序必须配置的附属服务开启 YARN 集群的日志聚合功能trueYARN 集群的聚合日志最长保留时长1天86400启用自动恢复true制定 resourcemanager 的状态信息存储在 zookeeper 集群上workers注意！在Hadoop3x以前的版本是 slaves 文件masterslave1。
hadoop之文件系统HA搭建的配置细节
mn_kw的博客
05-21 407
[hdfs-site.xml] 1.      配置名称服务 dfs.nameservices  名称服务的逻辑名           dfs.nameservices       aa     2.      配置nameservice中的每个namenode dfs.ha.namenodes.[nameservice ID]           dfs.h
Hadoop高可用
m0_57697768的博客
04-08 270
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群➢ NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启➢ NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用。
Hadoop分布式(高可用)部署配置文件
10-03
本文件“Hadoop分布式(高可用)部署配置文件”应包含所有必要的配置，以实现这一目标。现在，我们将深入探讨Hadoop HA的部署及其关键配置。 1. **NameNode HA**：Hadoop HA的核心是NameNode的高可用，通过设置两个...
HadoopHA高可用完全分布式搭建
01-07
三、配置免密钥 免密钥场景1： 将node01作为管理节点的启动脚本，需要配置node01节点免密钥登录其他三台节点 免密钥场景2： node01节点发生故障时，需要node02代替node01继续运行，所以需要node02节点免密钥登录...
hadoop HA高可用性完全分布式集群安装
11-05
hadoop HA高可用性完全分布式集群安装 内付下载地址和说明文档
9、hadoop高可用HA集群部署及三种方式验证
05-29
《9、Hadoop高可用HA集群部署及三种方式验证》 Hadoop高可用(HA)集群的部署是确保大数据处理系统稳定性和容错性的关键步骤。本篇文章将详细解析如何设置一个Hadoop HA环境，包括集群规划、部署以及验证。在开始之前...
Hadoop分布式部署配置文件
10-03
此外，高可用性（HA）设置允许NameNode的热备，以防止单点故障。 9. **故障排查** 遇到问题时，日志文件是排查的关键，如NameNode的`hadoop-hdfs-namenode-*.log`和DataNode的`hadoop-hdfs-datanode-*.log`。同时...
Hadoop High Availability (高可用)你该了解这些！
03-11 3609
Hadoop High Availability HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执...
【亲测】Hadoop 高可用集群搭建 与 开发环境部署，前端快速开发
2401_84092508的博客
04-05 365
你要问前端开发难不难，我就得说计算机领域里常说的一句话，这句话就是『难的不会，会的不难』，对于不熟悉某领域技术的人来说，因为不了解所以产生神秘感，神秘感就会让人感觉很难，也就是『难的不会』；当学会这项技术之后，知道什么什么技术能做到什么做不到，只是做起来花多少时间的问题而已，没啥难的，所以就是『会的不难』。我特地针对初学者整理一套前端学习资料，免费分享给大家，戳这里即可免费领取;esac命令你要问前端开发难不难，我就得说计算机领域里常说的一句话，这句话就是『难的不会，会的不难。
hadoop高可用【HA】配置详解
大唐有趣的小胡.
07-31 3821
想实现 Hadoop 高可用就必须实现 NameNode 的高可用，NameNode 是HDFS的核心，HDFS 又是 Hadoop 核心组件，NameNode 在 Hadoop 集群中至关重要；NameNode 宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而 NameNode 的数据更新又比较频繁，实现 NameNode 高可用势在必行；...
Hadoop HA高可用配置(2021年最新)
jackfeng86的专栏
06-04 1506
一、HDFS-HA 高可用集群配置 准备工作 1.准备环境 安装3台CentOS7虚拟机，hostname分别为：hadoop102， hadoop103，hadoop104 在hadoop102上进行如下安装与配置，最后进行分发到其他机器： 1）jdk版本：jdk1.8.0_212 2）hadoop版本：hadoop-3.1.3 3）软件安装目录：/opt/module 简写说明： NN 代表 NameNode ZKFC 代表 ZooKeeperFailoverController 2.安装jdk
Hadoop2.x高可用架构
小白有个大牛梦
04-01 2590
Hadoop2.x
Hadoop高可用集群搭建
m0_50744317的博客
05-08 3960
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
CDH高可用hadoop集群性能配置
aet62619251的博客
09-04 556
1、HDFS的高可用配置 dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。 dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存储 NameNode 编辑的本地文件系统目录。journalnode所在...
Hadoop-2.7.2高可用集群搭建(Ubuntu14.04)
水滴石穿的博客
10-29 406
Hadoop-2.7.2高可用集群搭建(Ubuntu14.04)Hadoop ， HA ,zookeeper以root用户身份进行配置环境需求： JDK版本：1.7+ Hadoop版本：hadoop-2.7.2 zookeeper版本：zookeeper-3.4.5 详细配置 主机名IP Namenode Datanode Yarn Zookeeper JournalNode

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值