Linux HA Hadoop 3.2.0 搭建

最新推荐文章于 2020-12-01 20:43:33 发布
最新推荐文章于 2020-12-01 20:43:33 发布
阅读量262 收藏 1
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WQQ72600/article/details/89491214
版权

下载地址：
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

yum install psmisc

解压tar包
[root@datanode5 soft]# chown -R root:root hadoop-3.2.0/
在Hadoop家目录下创建data文件夹
在data文件夹下创建tmp文件夹和dfs文件夹
在dfs文件夹下创建jn文件夹

hdfs-site.xml==========================

   <property>
	  <name>dfs.namenode.name.dir</name>
      <value>file:/data/hadoop/hdfs/name</value>
   </property>
   <property>
	  <name>dfs.datanode.data.dir</name>
      <value>file:/data/hadoop/hdfs/data</value>
   </property>

<property>
	<name>dfs.nameservices</name>
	<value>ns1</value>
</property>

<property>
	<name>dfs.ha.namenodes.ns1</name>
	<value>nn1,nn2</value>
</property>

<property>
	<name>dfs.namenode.rpc-address.ns1.nn1</name>
    <value>datanode4:8020</value>
</property>

<property>
	<name>dfs.namenode.rpc-address.ns1.nn2</name>
    <value>datanode5:8020</value>
</property>

<property>
	<name>dfs.namenode.http-address.ns1.nn1</name>
	<value>datanode4:50070</value>
</property>

<property>
    <name>dfs.namenode.http-address.ns1.nn2</name>
	<value>datanode5:50070</value>
</property>

<property>
	<name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://datanode4:8485;datanode5:8485;datanode6:8485/ns1</value>
</property>

<property>
    <name>dfs.journalnode.edits.dir</name>
	<value>/data1/soft/hadoop-3.2.0/data/dfs/jn</value>
</property>


<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>


<property>
	<name>dfs.client.failover.proxy.provider.ns1</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<property>
    <name>dfs.ha.fencing.methods</name>
	<value>shell(/bin/true)</value>
</property>
dfs.ha.fencing.methods ，当免密码登陆不能隔离宕机的namenode，使用shell(/bin/true) 替换sshfence

在这里插入图片描述

<property>
    <name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
</property>

<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_rsa</value>
</property>

core-site.xml=====================================

     <property>
           <name>fs.defaultFS</name>
           <value>hdfs://ns1</value>
     </property>
     
     <property>
           <name>hadoop.tmp.dir</name>
           <value>/data1/soft/hadoop-3.2.0/data/tmp</value>
     </property>

     <property>
            <name>ha.zookeeper.quorum</name>
            <value>datanode4:2181,datanode5:2181,datanode6:2181</value>
    </property>

mapred-site.xml==========================================

       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>

       <property>
               <name>yarn.app.mapreduce.am.env</name>
              <value>HADOOP_MAPRED_HOME=/data1/soft/hadoop-3.2.0</value>
       </property>

       <property>
           <name>mapreduce.map.env</name>
           <value>HADOOP_MAPRED_HOME=/data1/soft/hadoop-3.2.0</value>
      </property>

      <property>
          <name>mapreduce.reduce.env</name>	
          <value>HADOOP_MAPRED_HOME=/data1/soft/hadoop-3.2.0</value>
      </property>

yarn-site.xml==================================================

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
								
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>datanode6</value>
</property>

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
																						
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>106800</value>
</property>

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>106496</value>
</property>

<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>106496</value>
</property>

<property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value>     </property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value>   </property>

works=========================================================

 datanode4
 datanode5
 datanode6

hadoop-env.sh===================================================

export JAVA_HOME=/usr/local/java
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

将hadoop分发到其他机器上
[root@datanode4 bin]# scp -r hadoop-3.2.0 datanode5:/data1/soft/
[root@datanode4 bin]# scp -r hadoop-3.2.0 datanode6:/data1/soft/

[root@datanode4 bin]# ./hdfs --daemon start journalnode
[root@datanode5 bin]# ./hdfs --daemon start journalnode
[root@datanode6 bin]# ./hdfs --daemon start journalnode
[root@datanode4 bin]# ./hdfs namenode -format
[root@datanode4 bin]# ./hdfs --daemon start namenode
[root@datanode5 bin]# ./hdfs namenode -bootstrapStandby
[root@datanode5 bin]# ./hdfs --daemon start namenode
[root@datanode5 bin]# ./hdfs haadmin -getAllServiceState

[root@datanode4 bin]# ./hdfs --daemon stop namenode
[root@datanode5 bin]# ./hdfs --daemon stop namenode
[root@datanode4 bin]# ./hdfs --daemon stop journalnode
[root@datanode5 bin]# ./hdfs --daemon stop journalnode
[root@datanode6 bin]# ./hdfs --daemon stop journalnode

[root@datanode4 bin]# ./hdfs zkfc -formatZK

[root@datanode4 sbin]# ./start-dfs.sh
[root@datanode6 sbin]# ./start-yarn.sh

================================================
节点4 namenode format
节点5 namenode 元数据同步
节点4 formateZK
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

…/bin/hdfs --daemon start journalnode # 三台虚拟机都执行该命令
…/bin/hdfs namenode -format # 在其中一台namenode虚拟机执行即可
启动 master namenode sbin/hadoop-deamon.sh startnamenode
在master2上同步master namenode元数据 bin/hdfs namenode -bootstrapStandby
启动master2 namenode sbin/hadoop-deamon.sh startnamenode

此时进入 50070 web页面，两个namenode都是standby状态，这是可以先强制手动是其中一个节点变为active bin/hdfs haadmin –transitionToActive–forcemanual

手动故障转移已经完成，接下来配置自动故障转移
先把整个集群关闭，zookeeper不关，输入
[root@datanode4 bin]# ./hdfs zkfc -formatZK
格式化ZKFC

-> …/sbin/start-dfs.sh
在一台namenode启动hdfs
-> …/sbin/start-yarn.sh
在resourcemanager启动yarn

[root@datanode5 bin]# ./hdfs haadmin
Usage: haadmin [-ns ]
[-transitionToActive [–forceactive] ]
[-transitionToStandby ]
[-failover [–forcefence] [–forceactive] ]
[-getServiceState ]
[-getAllServiceState]
[-checkHealth ]
[-help ]

[root@datanode5 bin]# ./hdfs haadmin -getAllServiceState
datanode4:8020 active
datanode5:8020 standby

测试：
[root@datanode4 bin]# ./yarn jar /data1/soft/hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /test/input /test/output
在这里插入图片描述

遇到的问题：
2019-04-25 10:04:24,273 INFO mapreduce.Job: Job job_1556108063572_0001 failed with state FAILED due to: Application application_1556108063572_0001 failed 2 times due to AM Container for appattempt_1556108063572_0001_000002 exited with exitCode: 1
Failing this attempt.Diagnostics: [2019-04-25 10:04:23.821]Exception from container-launch.
Container id: container_1556108063572_0001_02_000001
Exit code: 1

[2019-04-25 10:04:23.864]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err :
Last 4096 bytes of stderr :
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:

<property>
<name>yarn.app.mapreduce.am.env
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
<name>mapreduce.map.env
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>
<property>
<name>mapreduce.reduce.env
<value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
</property>

解决方案：在mapred-site.xml中加入：

       <property>
               <name>yarn.app.mapreduce.am.env</name>
              <value>HADOOP_MAPRED_HOME=/data1/soft/hadoop-3.2.0</value>
       </property>

       <property>
           <name>mapreduce.map.env</name>
           <value>HADOOP_MAPRED_HOME=/data1/soft/hadoop-3.2.0</value>
      </property>

      <property>
          <name>mapreduce.reduce.env</name>	
          <value>HADOOP_MAPRED_HOME=/data1/soft/hadoop-3.2.0</value>
      </property>

http://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

WQQ72600
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux下搭建ha高可用集群
05-14
linux下搭建ha高可用集群，centos，Ubuntu，red hat环境下搭建。
Hadoop3.2.0集群搭建常见注意事项
01-09
3.2.0版本中namenode页面端口是9870,datanode管理端口是8088,所以需要开放这两个端口还给web页面访问 二but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation hadoop-env.sh中不光需要配置java-...
linux下搭建HA高可用集群
weixin_34185560的博客
06-04 307
HA 即 （high available）高可用，又被叫做双机热备，用于关键性业务。 简单理解就是，有两台机器A和B，正常是A提供服务，B待命闲置，当A宕机或服务宕掉，会切换至B机器继续提供服务。常用实现高可用的开源软件有heartbeat和keepalived，其中keepalived有负载均衡的功能。下面我们使用heartbeat来做HA集群，并且把nginx服务作为HA对应的服务。试验准备工...
Linux下Hadoop3.2.0的安装
豪气冲天
09-27 436
我所安装的是hadoop-3.2.0，安装包链接在下方，可自取。 链接：https://pan.baidu.com/s/1o81ZThq7Juw7h8LglAZIfg 提取码：pgvm 预操作 首先，在安装Hadoop之前要进行的一个操作是关闭防火墙。 关闭系统防火墙: systemctl stop firewalld systemctl disable firewalld ...
Linux CentOS6.5 安装hadoop3.0.3
flying_pig1989的博客
09-07 474
Linux CentOS6.5 安装hadoop3.0.3 1. 下载hadoop安装包 从官方网站http://hadoop.apache.org/releases.html下载hadoop对应的安装包hadoop-3.0.3.tar.gz（版本按需获取）。 2. 解压安装包 tar -zxvf hadoop-3.0.3.tar.gz -C /usr/local/hadoop-3.0....
Linux下搭建高可用Hadoop集群详解
m0_46657040的博客
08-24 402
下载hadoop的Linux安装包
hadoop-3.2.0.tar.gz
07-26
hadoop3.2.0
linux下Hadoop集群环境搭建
04-20
在一台虚拟机上安装多台linux服务机，并搭建Hadoop集群环境
Linux下的Hadoop搭建1
08-08
Linux下的Hadoop搭建1 本篇文章将指导读者如何在Linux系统上搭建Hadoop环境。Hadoop是一种大数据处理工具，能够对大量数据进行存储和处理。下面是 Linux下的Hadoop搭建步骤。 首先，需要了解Hadoop有三种运行模式...
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
Redhat搭建HA双机环境
11-16
Redhat搭建HA双机环境
Hadoop HA部署
04-01
Hadoop HA部署流程文件 Hadoop HA部署流程文件 Hadoop HA部署流程文件 Hadoop HA部署流程文件
HadoopHA高可用集群启动脚本
07-07
使用需要修改成自己的路径 用sh ./ha-start启动
hadoop3.1.2 HA高可用搭建
易烊千成
09-05 737
官方文档 https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html#Configuration_details ** 1.资源角色规划 ** ** 2.配置 ** 2.1对全分布式集群的备份，以后想用全分布式的话就把hadoop-full名字改成had...
HDFS2.0 HA实现
findzk的博客
10-31 267
Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务； ZKFailoverController（主备切换控制器，FC）：ZKFailoverController 作为独立的进程运行，对...
Hadoop HA 学习笔记
VanasWang的博客
04-22 249
文章目录HAHadoop HA高可用HA概述HDFS-HA工作机制HDFS-HA手动故障转移工作要点配置HDFS-HA集群配置HDFS-HA自动故障转移工作要点HDFS-HA故障转移机制规划集群配置Zookeeper集群配置HDFS-HA自动故障转移YARN-HA配置YARN-HA工作机制配置YARN-HA集群规划集群具体配置HDFS Federation架构设计NameNode架构的局限性HDF...
Hadoop High Availability（HA高可用）
wzc8961661的博客
03-12 2702
学习目标单词简写（必看！！！）简介Hadoop HA（Hadoop高可用）NameNode HAHadoop 单点问题解决方案Yarn HA（Yarn高可用）Yarn单点问题解决方案 单词简写（必看！！！） NameNode（NN） SecondaryNameNode（SNN） DataNode（DN） Zookeeper（ZK） Active ZKFailoverController（Activ...
HADOOP HA概述
Z_Data的博客
11-08 297
目录   1、 背景 2、 HA(High Available)概念 1、 背景 ​ 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程不可用，整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动为止。这在两个主要方面影响了HDFS集群的总体可用性： 在计划外事件（例如机器崩溃）...
HAHadoop架构分析 （高可用 Hadoop架构）
gym02的博客
12-01 242
1.NameNode单点故障 概念：如果NN主机宕机，导致整个HDFS集群中所有节点全部停止工作。 解决思路：为NameNode主机提供一个NameNode备机。 方法： 1.实时监控NameNode11宕机 2.发现NameNode11宕机，触发一段操作。启动NameNode12备机，接管HDFS管理。 方案： Hadoop2版本提供ZKFC，基于zk实现的故障转移程序，本质上是zk的一个客户端程序。 1：启动本级namenode，像zk注册节点znode。 2：监听该节点znode变化。 3：防止nn.
hadoop 3.2.0 zookeeper安装
最新发布
09-14
要安装Hadoop 3.2.0和ZooKeeper，可以按照以下步骤进行操作： 1. 将Hadoop 3.2.0的安装包上传到/opt/install目录，并解压缩并移动到/opt目录中。可以使用以下命令： ``` tar -zxvf hadoop-3.2.0.tar.gz mv ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值