集群搭建系列（四）Hadoop HA 2.7.3 安装

最新推荐文章于 2022-11-01 16:50:29 发布
最新推荐文章于 2022-11-01 16:50:29 发布
阅读量198 收藏
点赞数
分类专栏： 集群搭建 文章标签： hadoop hadoop ha hadoop2.7.3
那些你很早爬起来努力的时光，那些你熬夜训练的日子，那些你觉得太累了不想努力并强迫自己但仍咬牙坚持的时光，那才是追寻梦想的意义，那就是梦想力量。但是真正的梦想不是到达终点，而是享受旅途。如果你们能够理解这个道理。你会发现，在努力的过程中。你的梦想或许会实现，或许不会。但总有一些更伟大的事情会随之而来。
本文链接：https://blog.csdn.net/cs261244787/article/details/111308795
版权

文章目录

1 切 Hadoop 权限用户

ZK 检测：

zkServer status

JDK 检测：

java -version

Scala 检测：

scala -version

2 解压缩、修改 etc/profile 配置文件

cd /hadoop/hadoop-2.7.3/etc/hadoop
vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<!-- 指定hdfs的nameservice为ns -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://nns</value>
        </property>
        <!-- 指定hadoop临时目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/hadoop-2.7.3/tmp</value>
        </property>
        <!-- 指定zk -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>biz-63:2181,biz-140:2181,biz-141:2181</value>
        </property>
        <!-- Namenode向JournalNode发起的ipc连接请求的重试最大次数 -->
        <property>
                <name>ipc.client.connect.max.retries</name>
                <value>100</value>
                <description>Indicates the number of retries a client will make to establish a server connection.
                </description>
        </property>
        <!-- Namenode向JournalNode发起的ipc连接请求的重试间隔时间 -->
        <property>
                <name>ipc.client.connect.retry.interval</name>
                <value>10000</value>
                <description>Indicates the number of milliseconds a client will wait for before retrying to establish a server connection.
                </description>
        </property>
        <!-- 开启回收功能，并设置垃圾删除间隔(分钟) -->
        <property>
                <name>fs.trash.interval</name>
                <value>1440</value>
                <description>Trash deletion interval in minutes.If zero, the trash feature is disabled.</description>
        </property>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <!-- 副本数 -->
	<property>
	    <name>dfs.replication</name>
	    <value>2</value>
	</property>
	<property>
	    <name>dfs.permissions</name>
	    <value>false</value>
	</property>
	<property>
	    <name>dfs.namenode.name.dir</name>
	    <value>/opt/hadoop/hadoop-2.7.3/nndata/dfs/name</value>
	</property>
	<property>
	    <name>dfs.datanode.data.dir</name>
	    <value>/data/hadoop/dfs/data</value>
	</property>
	<!--以下是HDFS HA的配置-->
	<!--指定HDFS的nameservices名称为nn,需要和core-site.xml中保持一致-->
	<property>
	    <name>dfs.nameservices</name>
	    <value>cluster</value>
	</property>
	<!--指定mycluster的两个NameNode的名称分别位ActiveNN和StandbyNN-->
	<property>
	    <name>dfs.ha.namenodes.nn</name>
	    <value>nn1,nn2</value>
	</property>
	<!--配置ActiveNN和StandbyNN的rpc通信端口-->
	<property>
	    <name>dfs.namenode.rpc-address.nn.nn1</name>
	    <value>biz-63:9000</value>
	</property>
	<property>
	    <name>dfs.namenode.rpc-address.nn.nn2</name>
	    <value>biz-140:9000</value>
	</property>
	<!--配置ActiveNN和StandbyNN的http通信端口-->
	<property>
	    <name>dfs.namenode.http-address.nn.nn1</name>
	    <value>biz-63:50070</value>
	</property>
	<property>
	    <name>dfs.namenode.http-address.nn.nn2</name>
	    <value>biz-140:50070</value>
	</property>
	<!--指定NameNode的元数据在JournalNode上的存放位置-->
	<property>
	    <name>dfs.namenode.shared.edits.dir</name>
	    <value>qjournal://biz-63:8485;biz-140:8485;biz-141:8485/cluster</value>
	</property>
	<!--JournalNode上元数据和日志文件存放位置-->
	<property>
	    <name>dfs.journalnode.edits.dir</name>
	    <value>/data/hadoop/journal</value>
	</property>
	<!--开启NameNode失败自动切换-->
	<property>
	    <name>dfs.ha.automatic-failover.enabled</name>
	    <value>true</value>
	</property>
	<!--NameNode失败自动切换实现方式-->
	<property>
	    <name>dfs.client.failover.proxy.provider.nn</name>
	    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!--隔离机制方式，确保任何时间只有一个NameNode处于活动状态-->
	<property>
	    <name>dfs.ha.fencing.methods</name>
	    <value>sshfence
	           shell(/bin/true)</value>
	</property>
	<!--使用sshfence隔离机制需要SSH免密码认证-->
	<property>
	    <name>dfs.ha.fencing.ssh.private-key-files</name>
	    <value>/home/wftapp/.ssh/id_rsa</value>
	</property>
	<!--配置sshfence隔离机制超时时间-->
	<property>
	    <name>dfs.ha.fencing.ssh.connect-timeout</name>
	    <value>30000</value>
	</property>
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<property>
	    <name>mapreduce.framework.name</name>
	    <value>yarn</value>
	</property>
	<!--配置MapReduce JobHistory Server地址，默认端口10020-->
	<property>
	    <name>mapreduce.jobhistory.address</name>
	    <value>0.0.0.0:10020</value>
	    <description>MapReduce JobHistory Server IPC host:port</description>
	</property>
	<!--配置MapReduce JobHistory Server HTTP地址，默认端口19888-->
	<property>
	    <name>mapreduce.jobhistory.webapp.address</name>
	    <value>0.0.0.0:19888</value>
	    <description>MapReduce JobHistory Server Web UI host:port</description>
	</property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>

<configuration>
	<!-- Site specific YARN configuration properties -->
	<!--启用RM高可用-->
	<property>
	    <name>yarn.resourcemaneger.ha.enabled</name>
	    <value>true</value>
	</property>
	<!--指定RM的cluster-id-->
	<property>
	    <name>yarn.resourcemaneger.cluster-id</name>
	    <value>looc</value>
	</property>
	<!--指定两台RM主机名标识符-->
	<property>
	    <name>yarn.resourcemaneger.ha.rm-ids</name>
	    <value>rm1,rm2</value>
	</property>
	<!--RM主机1-->
	<property>
	    <name>yarn.resourcemaneger.hostname.rm1</name>
	    <value>biz-140</value>
	</property>
	<!--RM主机2-->
	<property>
	    <name>yarn.resourcemaneger.hostname.rm2</name>
	    <value>bit-141</value>
	</property>
	<!--RM故障自动切换-->
	<property>
	    <name>yarn.resourcemaneger.ha.automatic-failover.recover.enabled</name>
	    <value>true</value>
	</property>
	<!--RM故障自动恢复-->
	<property>
	    <name>yarn.resourcemaneger.recovery.enabled</name>
	    <value>true</value>
	</property>
	<!--指定ZK集群地址-->
	<property>
	    <name>yarn.resourcemaneger.zk-address</name>
	    <value>biz-63:2181,biz-140:2181,biz-141:2181</value>
	</property>
	<property>
	    <name>yarn.nodemanager.aux-services</name>
	    <value>mapreduce_shuffle</value>
	</property>
	<!--启用日志聚集功能-->
	<property>  
	    <name>yarn.log-aggregation-enable</name>  
	    <value>true</value>  
	</property>
	<property> 
	    <name>yarn.log.server.url</name>
	    <value>http://0.0.0.0:19888/jobhistory/logs</value>
	</property>
	<!--向RM调度资源地址-->
	<property>
	    <name>yarn.resourcemaneger.scheduler.address.rm1</name>
	    <value>biz-140:8030</value>
	</property>
	<property>
	    <name>yarn.resourcemaneger.scheduler.address.rm2</name>
	    <value>biz-141:8030</value>
	</property>
	<!--NodeManeger通过该地址交换信息-->
	<property>
	    <name>yarn.resourcemaneger.resource-tracker.address.rm1</name>
	    <value>biz-140:8031</value>
	</property>
	<property>
	    <name>yarn.resourcemaneger.resource-tracker.address.rm2</name>
	    <value>biz-141:8031</value>
	</property>
	<!--客户端通过该地址向RM提交对应用程序的操作-->
	<property>
	    <name>yarn.resourcemaneger.address.rm1</name>
	    <value>biz-140:8032</value>
	</property>
	<property>
	    <name>yarn.resourcemaneger.address.rm2</name>
	    <value>biz-141:8032</value>
	</property>
	<!--管理员通过该地址向RM发送管理命令-->
	<property>
	    <name>yarn.resourcemaneger.admin.address.rm1</name>
	    <value>biz-140:8033</value>
	</property>
	<property>
	    <name>yarn.resourcemaneger.admin.address.rm2</name>
	    <value>biz-141:8033</value>
	</property>
	<!--RM HTTP访问地址，查看集群信息-->
	<property>
	    <name>yarn.resourcemaneger.webapp.address.rm1</name>
	    <value>biz-140:8088</value>
	</property>
	<property>
	    <name>yarn.resourcemaneger.webapp.address.rm2</name>
	    <value>biz-141:8088</value>
	</property>
</configuration>
3 设置 slaves

在这里插入图片描述

4 环境变量

1 切换 root 用户 or sudo
2 写入配置
3 使其生效 source /etc/profile

export HADOOP_HOME=/opt/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
5 ZKFC

进入 hadoop bin 目录

./bin/hdfs zkfc -formatZK

如果出现异常情况
需要检查配置文件 是不是写错了。

在这里插入图片描述

在 ZK 中也可以看到注册成功
在这里插入图片描述

6 JournalNode

在预算好的 JN 节点启动 journalnode

hadoop-daemon.sh start journalnode

在这里插入图片描述

按路径检查日志
jps 查看 JournalNode 进程 （应采用 2X +1 生产建议 5 +）

在这里插入图片描述

7 启动 HA

只在 NN 1 上操作
格式化HDFS命令
hdfs namenode -format
启动 namenode
hadoop-daemon.sh start namenode

检查日志
在这里插入图片描述

访问 NN1
在这里插入图片描述

操作 NN 2

nn2 操作同步 nn1 元数据的命令
hdfs namenode -bootstrapStandby
启动 nn2 namenode
hadoop-daemon.sh start namenode

在这里插入图片描述

在这里插入图片描述

指定 nn2 为主机
hdfs haadmin -transitionToActive --forcemanual nn2

在这里插入图片描述

查看验证
在这里插入图片描述

关闭hdfs
stop-dfs.sh
zkServer.sh stop
zkServer.sh start

8 HADOOP_HOME 不存在异常

如果出现 HADOOP_HOME 不对情况，需要修改 etc/hadoop/hadoop-env.sh JDK目录为绝对路径

%%%% 如果 ZK 初始化过了就不用再次了
hdfs zkfc -formatZK

nn1 启动 hdfs
start-dfs.sh

nn1 启动 yarn
start-yarn.sh

在这里插入图片描述

nn2 启动另一个 ResourceManager
yarn-daemon.sh start resourcemanager

至此 Hadoop 服务以下部署完成。 各节点服务如图

在这里插入图片描述

HA 检测
hdfs haadmin -getServiceState nn1
hdfs haadmin -getServiceState nn2
yarn rmadmin -getServiceState rm1
yarn rmadmin -getServiceState rm2

yarn ha 没成功可能是 ZK 有问题 后面再处理

9 JobHistory

启动 historyserver
mr-jobhistory-daemon.sh start historyserver
停止 historyserver
mr-jobhistory-daemon.sh sop historyserver
jobhistoryserver 端口 19888

在这里插入图片描述
在这里插入图片描述

启动 JHS 后，在HDFS上/tmp/hadoop-yarn/staging/history 路径下会生成两个文件夹：done和done_intermediate。done文件夹下存放已经完成的 job，done_intermediate 文件夹下存放正在进行的job信息。

今日 完成

装B五分钟，挨打两小时
关注
专栏目录
hadoop2.7.3 HA高可用集群安装
ProfoundOx的博客
12-20 2309
hadoop2.7.3 HA高可用集群安装 HDFS高可用性（NameNode） NN必须实现共享元数据才能保证无缝切换；共享元数据可以采用Linux提供的NFS服务，也可以使用Hadoop提供的JournalNode；JournalNode采用多数派理论，保证半数以上的节点写成功即认为成功。 NN要实现自动切换（不需要手工切换），就必须实现实时监控每个节
Hadoop2.7.3 HA高可靠性集群搭建(Hadoop+Zookeeper)
owlcity123的博客
12-07 687
一.概述       在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。      在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客...
Hadoop2.7.3 HA模式搭建
若兰幽竹
03-10 637
Hadoop2.7.3 HA模式搭建一、集群的规划二、准备工作三、配置Zookeeper四、安装Hadoop集群五、启动Zookeeper集群六、在bigdata112和bigdata113上启动journalnode七、格式化HDFS（在bigdata112上执行）八、在bigdata112上启动Hadoop集群九、在 bigdata113上的ResourceManager需要单独启动 说明： 为解决Hadoop单点故障问题，需要采用HA模式进行部署 环境： VMWare + Centos7 + JDK
Hadoop-2.7.3 HA 完全分布式搭建
独者looc
08-29 1621
准备工作 1.安装包版本以及功能 软件名 版本号 功能 Hadoop hadoop-2.7.3.tar.gz 为海量数据提供分布式存 储（HDFS）和分布式计算 (YARN)。 ZooKeeper zookeeper-3.4.10.tar.gz 一个分布式应用程序协调 服务，为应用提供一致性服 务，是 Hadoop 和 Hbase 的 重
Hadoop 2.7.3 高可用（HA）集群部署
Han Bert
10-17 2317
本文主要介绍如何部署Hadoop 2.7.3 高可用（HA）集群
【Hadoop】Centos7中完全分布式hadoop-2.7.3集群的安装与配置
strawcherry_wj的博客
07-24 1036
一、安装操作系统并配置IP 在VMware虚拟机中安装三台Centos，分别作为Master，Slave1，Slave2，并配置root用户。 配置三台机器的静态IP地址，本次示例IP分别为： Master: 192.168.157.128 Slave1: 192.168.157.129 Slave2: 192.168.157.130 （关于设置静态ip连不上网的问题，https://blog.csdn.net/tearofthemyth/article/details/112800999 Mac VMw
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4242
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
四、Hadoop HA高可用集群搭建—第四步：安装配置Hadoop
嘻哈吼嘿呵的博客
08-03 2477
一、hadoop安装 1、在master机器上，解压到/home/hadoop/目录下 tar -zxcf hadoop-2.6.5.tar.gz -C /usr/softwares/ 2、在hadoop-2.7.3文件夹里面先创建文件夹 mkdir -p hadoop-2.7.3/data/name mkdir -p hadoop-2.7.3/data/data mkdir -p h...
HADOOP HA安装
D_dd_d的博客
06-19 240
1
Hadoop HA安装(zookeeper)
yuandiyzy1987的博客
08-03 648
Hadoop-HA安装部署 1 集群规划 1.1 集群规划 1.2 所需安装包： jdk-8u172-linux-x64.tar.gz hadoop-2.6.0-cdh5.15.0.tar.gz zookeeper-3.4.5-cdh5.15.0.tar.gz 2 环境准备 以下操作除2.6外均需要对所有的节点进行操作 2.1 配置静态IP ...
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
centos7 搭建ha(高可用)hadoop2.7.3集群
井桂印
06-29 3585
写在前面作为一个单体应用开发人员对于理解分布式应用和微服务的理论还可以。但是部署分布式环境来说还是一个挑战。最近在学习hadoop，正也把学习的东西分享出来，希望帮助感兴趣的人。 前面一章写了centos7搭建hadoop集群 再跟着做本章实验前建议初学者先去实验上一章的内容。有任何问题欢迎反馈，我也好做出修改。 ha(高可用)hadoop2.7.3集群,主要是为了消除spof(单点故障)，解
Hadoop安装（HA架构）
Monkey's blog
03-31 2594
Hadoop高可用架构安装
入门级，hadoop ha 安装
weixin_44147632的博客
08-24 135
在搭建普通的hadoop集群的基础上 在hadoop260目录下新建data文件夹，在data文件夹中新建journalnode pids tmp 三个文件夹 [root@vwmaster hadoop]# cd /opt/bigdata/hadoop/hadoop260/ [root@vwmaster hadoop]# mkdir data [root@vwmaster hadoop]# cd data/ [root@vwmaster hadoop]# mkdir journalnode pids tmp
hadoop HA集群安装部署
WangZhaoLongjk的博客
05-23 383
1.运行环境 1.1 软件环境 三个节点 OS：64位RHEL5及以上或者64位CentOS6.0及以上 JVM：预装64位JDK 1.8及以上版本 1.2 浏览器要求 Firefox 39.0.0版本及以上或者Google Chrome 54.0.2840.8版本及以上。 BEH-Manager-4.1.2安装包于官方网站下载：http://beh.pezy.cn/ 2 安装准备 2.1准备虚拟...
安装部署Hadoop HA
weixin_43209528的博客
06-23 592
写在前面，我才疏学浅，希望各位大牛批评指正，本着虚心接受的态度分享这篇文章！ ## **1 实验目的** • 了解Hadoop HA的安装方式 • 掌握Hadoop HA安装部署方法 ## 2 Hadoop HA模式规划 机器名 机器IP 用途 描述 进程数量 master 192.168.122.xxx 主节点 64位Centos7 7 slave1 192.168.122.xxx ...
hadoop HA（高可用）集群全分布模式安装
qq_56862455的博客
04-06 1708
hadoop HA（高可用）集群全分布模式安装 提示：该配置基于前面章节已经安装好的hadoop全分布式集群、zookeeper组件基础上才能执行本章操作 文章目录hadoop HA（高可用）集群全分布模式安装前言一、删除hadoop分布式集群的文件1、关闭hadoop集群、12.3.1.1 关闭hdfs和yarn2、关闭JobHistory3、检查hadoop集群的各节点关闭情况4、删除hadoop集群二、安装hadoop高可用集群1、上传hadoop安装包到master节点2、在master节点解压
hadoop 3.0 HA安装(一站式操作)
最新发布
JustinMars的博客
11-01 564
Hadoop 3.1.4 高可用安装，快速部署，详细操作 有利于初学者快速上手
大数据生态（七）Hadoop集群HA安装
长臂人猿的博客
02-03 341
文章目录1 解压安装到e3base下面2 改名实现截图3 创建$E3_INFO_HOME/hadoop目录4 用户环境变量配置5 修改配置文件5.1修改hadoop-env.sh文件5.2修改core-site.xml文件5.3修改hdfs-site.xml文件5.3.1修改对应的管理节点主机名5.3.2 nn和jn路径5.3.3 存放硬盘数据目录5.3.4 namenode节点6 slaves文件配置7 机架感知配置 1 解压安装到e3base下面 ​ 前面安装过到默认文件目录下，现在进行移动操作： mv
Hadoop 2.6.4 HA集群搭建详解与步骤
本文档主要介绍了如何在Apache Hadoop 2.6.4环境中搭建一个高可用性（High Availability, HA）集群。Hadoop 2.6.4版本是一个关键里程碑，引入了YARN（Yet Another Resource Negotiator）作为新的资源调度框架，替代...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值