HDFS、YARN HA部署

最新推荐文章于 2022-12-07 22:05:02 发布
最新推荐文章于 2022-12-07 22:05:02 发布
阅读量260 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/likaiasddsa/article/details/89787828
版权

三台机器安装软件 配置用户

创建新用户

useradd hadoop

设置用户密码

passwd hadoop

切换到hadoop用户

su - hadoop

创建目录

mkdir app
mkdir software

上传软件安装包到

rz
在这里插入图片描述

解压软件

配置ssh免密登陆

生成秘钥

ssh-keygen
在这里插入图片描述

查看秘钥目录

cd .ssh
在这里插入图片描述

把hadoop001的公钥放入认证的key中
在这里插入图片描述
把hadoop002、hadoop003上面的公钥复制到hadoop001上

scp id_rsa.pub 172.19.174.10:/home/hadoop/.ssh/id_rsa2
在这里插入图片描述

去hadoop001检查
在这里插入图片描述
把hadoop002、hadoop003 的公钥追加到authorized_keys。把authorized_keys文件复制到三台机器上。修改authorized_keys权限600。
在这里插入图片描述

配置 hosts 文件(三台都要配置)

vim /etc/hosts
在这里插入图片描述
测试ssh
相互测试sshl连接，第一次连接需要输入 yes.如果后面换秘钥，需要删除known_hosts 里面对应的信息。
在这里插入图片描述

JDK 部署

创建文件夹。（ CDH找的默认的jdk路径）

mkdir /usr/java/

解压

tar -zxvf /home/hadoop/software/jdk-8u161-linux-x64.tar.gz -C /usr/java/

配置系统变量

关闭防火墙

service iptables status
stop service iptables

zookper部署

解压

tar -zxvf zookeeper-3.4.5-cdh5.15.0.tar.gz

配置/home/hadoop/app/zookeeper-3.4.5-cdh5.15.0/conf 下 zoo.cfg
修改

dataDir=/home/hadoop/app/zookeeper-3.4.5-cdh5.15.0/data

添加

server.1=hadoop001.2888.3888
server.2=hadoop002.2888.3888
server.3=hadoop003.2888.3888

在zookeeper 根目录下创建 data目录
创建myid 文件
在这里插入图片描述
把修改的配置文件分别传到 hadoop002、hadoop003上面去。分别修改 myid 。
在这里插入图片描述
启动zookper。输出日子就在 bin目录下。
在这里插入图片描述
查看状态
在这里插入图片描述

部署HDFS

解压

tar -zxvf hadoop-2.6.0-cdh5.15.0.tar.gz -C /home/hadoop/app/

修改配置文件
core-site.xml

    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://ruozeclusterg6</value>
    </property>
    <!--==============================Trash机制======================================= -->
    <property>
            <!--多长时间创建CheckPoint NameNode截点上运行的CheckPointer 从Current文件夹创建CheckPoint;默认：0 由fs.trash.interval项指定 -->
            <name>fs.trash.checkpoint.interval</name>
            <value>0</value>
    </property>
    <property>
            <!--多少分钟.Trash下的CheckPoint目录会被删除,该配置服务器设置优先级大于客户端，默认：0 不删除 -->
            <name>fs.trash.interval</name>
            <value>1440</value>
    </property>

     <!--指定hadoop临时目录, hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配 置namenode和datanode的存放位置，默认就放在这>个路径中 -->
    <property>   
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/app/hadoop-2.6.0-cdh5.15.0/tmp</value>
    </property>

     <!-- 指定zookeeper地址 -->
    <property>
            <name>ha.zookeeper.quorum</name>
            <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
    </property>
     <!--指定ZooKeeper超时间隔，单位毫秒 -->
    <property>
            <name>ha.zookeeper.session-timeout.ms</name>
            <value>2000</value>
    </property>

    <property>
       <name>hadoop.proxyuser.hadoop.hosts</name>
       <value>*</value> 
    </property> 
    <property> 
        <name>hadoop.proxyuser.hadoop.groups</name> 
        <value>*</value> 
   </property> 
  <property>
	  <name>io.compression.codecs</name>
	  <value>org.apache.hadoop.io.compress.GzipCodec,
		org.apache.hadoop.io.compress.DefaultCodec,
		org.apache.hadoop.io.compress.BZip2Codec,
		org.apache.hadoop.io.compress.SnappyCodec
	  </value>
  </property>

hdfs.xml

<property>
	<name>dfs.permissions.superusergroup</name>
	<value>hadoop</value>
</property>
<!--开启web hdfs -->
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/home/hadoop/app/hadoop-2.6.0-cdh5.15.0/data/dfs/name</value>
	<description> namenode 存放name table(fsimage)本地目录（需要修改）</description>
</property>
<property>
	<name>dfs.namenode.edits.dir</name>
	<value>${dfs.namenode.name.dir}</value>
	<description>namenode粗放 transaction file(edits)本地目录（需要修改）</description>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/home/hadoop/app/hadoop-2.6.0-cdh5.15.0/data/dfs/data</value>
	<description>datanode存放block本地目录（需要修改）</description>
</property>
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<!-- 块大小256M （默认128M） -->
<property>
	<name>dfs.blocksize</name>
	<value>268435456</value>
</property>
<!--======================================================================= -->
<!--HDFS高可用配置 -->
<!--指定hdfs的nameservice为ruozeclusterg6,需要和core-site.xml中的保持一致 -->
<property>
	<name>dfs.nameservices</name>
	<value>ruozeclusterg6</value>
</property>
<property>
	<!--设置NameNode IDs 此版本最大只支持两个NameNode -->
	<name>dfs.ha.namenodes.ruozeclusterg6</name>
	<value>nn1,nn2</value>
</property>

<!-- Hdfs HA: dfs.namenode.rpc-address.[nameservice ID] rpc 通信地址 -->
<property>
	<name>dfs.namenode.rpc-address.ruozeclusterg6.nn1</name>
	<value>hadoop001:8020</value>
</property>
<property>
	<name>dfs.namenode.rpc-address.ruozeclusterg6.nn2</name>
	<value>hadoop002:8020</value>
</property>

<!-- Hdfs HA: dfs.namenode.http-address.[nameservice ID] http 通信地址 -->
<property>
	<name>dfs.namenode.http-address.ruozeclusterg6.nn1</name>
	<value>hadoop001:50070</value>
</property>
<property>
	<name>dfs.namenode.http-address.ruozeclusterg6.nn2</name>
	<value>hadoop002:50070</value>
</property>

<!--==================Namenode editlog同步 ============================================ -->
<!--保证数据恢复 -->
<property>
	<name>dfs.journalnode.http-address</name>
	<value>0.0.0.0:8480</value>
</property>
<property>
	<name>dfs.journalnode.rpc-address</name>
	<value>0.0.0.0:8485</value>
</property>
<property>
	<!--设置JournalNode服务器地址，QuorumJournalManager 用于存储editlog -->
	<!--格式：qjournal://<host1:port1>;<host2:port2>;<host3:port3>/<journalId> 端口同journalnode.rpc-address -->
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/ruozeclusterg6</value>
</property>

<property>
	<!--JournalNode存放数据地址 -->
	<name>dfs.journalnode.edits.dir</name>
	<value>/home/hadoop/app/hadoop-2.6.0-cdh5.15.0/data/dfs/jn</value>
</property>
<!--==================DataNode editlog同步 ============================================ -->
<property>
	<!--DataNode,Client连接Namenode识别选择Active NameNode策略 -->
                         <!-- 配置失败自动切换实现方式 -->
	<name>dfs.client.failover.proxy.provider.ruozeclusterg6</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--==================Namenode fencing：=============================================== -->
<!--Failover后防止停掉的Namenode启动，造成两个服务 -->
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
</property>
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<property>
	<!--多少milliseconds 认为fencing失败 -->
	<name>dfs.ha.fencing.ssh.connect-timeout</name>
	<value>30000</value>
</property>

<!--==================NameNode auto failover base ZKFC and Zookeeper====================== -->
<!--开启基于Zookeeper  -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
<!--动态许可datanode连接namenode列表 -->
 <property>
   <name>dfs.hosts</name>
   <value>/home/hadoop/app/hadoop-2.6.0-cdh5.15.0/etc/hadoop/slaves</value>
 </property>

mapred-site.xml



mapreduce.framework.name
yarn




mapreduce.jobhistory.address
hadoop001:10020



mapreduce.jobhistory.webapp.address
hadoop001:19888

mapreduce.map.output.compress true mapreduce.map.output.compress.codec org.apache.hadoop.io.compress.SnappyCodec

启动日志节点(三个都要执行)：

hadoop-daemon.sh start journalnode

格式化 namenode

hadoop namenode -format

Hadoop HA 启动过程

HA集群开启服务的过程---------------------------------------
step1：开启zookeeper服务：
$>zkServer.sh start
step2:开启journalnode守护进程(在qjournal协议指定的节点上执行)：
$>hadoop-daemon.sh start journalnode
step3:开启hdfs：
$>start-dfs.sh
step4:开启 resourcemanager：
$>yarn-daemon.sh start resourcemanager

守护进程的说明：
5458 QuorumPeerMain 【zookeeper Server端】
7715 Jps 【java进程】
7626 DFSZKFailoverController 【ZKFC：zookeeper client客户端】
7324 JournalNode 【QJM：日志节点进程】
7405 NameNode 【名称节点】
6015 DataNode 【数据节点】
8762 ResourceManager 【资源管理器】

明天你好lk
关注
专栏目录
HDFS和YARN HA部署
大门的博客
08-23 615
一、版本 组件名 版本 备注及下载地址 Centos 7.2 64bit lsb_release -a查看操作系统版本 file /bin/ls查看操作系统位数 JRE java version 1.8.45 jdk-8u45-linux-x64.gz Hadoop hadoop-2.6.0-cdh5.15.1 hadoop-2.6.0-cdh5.15.1.tar.gz ...
HDFS和YARN HA部署
liweihope的博客
04-10 593
任意时刻只能有一个nn（active状态）去写，nn standby 读 jn部署台数是奇数2n+1，active nn把编辑日志写道jn，要求至少 n/2+1台jn是好的。 如果有3台jn，三台都是好的，那么会写三台，如果有一台是坏的，那么满足3+1/2>=2台，会写两台 jn、zk不能部署太多，写的话也要耗很多时间，投票时间会越来越长，影响状态的切换。 standby nn读jn，随机找...
Hadoop YARN-HA架构和部署
梦想天空
08-22 401
目录 一、YARN-HA的配置 1. 修改yarn-site.xml文件 二、测试 ResourceManager是YARN集群资源管理和任务调度的关键部件，和HDFS的NameNode节点服务一样，为了提高高可靠性，我们需要做YARN-HA(YARN High Availability)，即设置多个ResourceManager节点服务，当活动的ResourceManager节点服务器宕...
HDFS&Yarn HA 集群部署（三台机器）
SUDDEV的博客
08-22 753
文章目录1.规划&环境准备1.1 软件准备1.2 主机规划2.安装前准备2.1 添加hadoop用户并创建目录2.1.1 添加hadoop用户2.2.2 创建目录2.2.3 配置Hosts使ip与hostname绑定2.2.4 安装rz和sz命令2.2.5 配置Hadoop的SSH互信2.2.6 上传需要安装的软件2.2 软件安装2.2.1 Jdk安装2.2.2 Zookeeper安装&...
YARN-HA配置
Faded1573606285的博客
10-11 756
1 YARN-HA工作机制 1）官方文档： http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 2）YARN-HA工作机制 2 配置YARN-HA集群 0）环境准备 （1）修改IP （2）修改主机名及主机名和IP地址的映射 （3）关闭防火墙 （4）ss...
Hadoop-2.8.1+Zookeeper-3.4.6(HDFS,YARN HA)部署指南
12-26
- **Hadoop**：在主节点(hadoop001)上执行`$HADOOP_HOME/sbin/start-all.sh`，并在副节点(hadoop002)上执行`$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager`以及`$HADOOP_HOME/sbin/mr-jobhistory-daemon....
11-Hadoop部署多机HDFS+HA+Federation+YARN1
08-03
本文将详细解析如何在多机环境中部署Hadoop的HDFS（Hadoop Distributed File System）高可用性（HA）、Federation以及YARN（Yet Another Resource Negotiator）组件。我们将按照步骤进行，确保每个环节的正确设置和...
10-Hadoop部署多机HDFS+HA+YARN1
08-04
1. 集群环境的节点分布 2. 演示修改主机名 3. 演示配置 hosts 文件 4. 演示免密码登录
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
【Hadoop HA 集群部署与 YARN HA 测试Job 教学】 在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop ...
大数据实战第四课-hdfs及yarn的HA部署
zhikanjiani的博客
04-11 402
一、JDK部署 在hadoop001机器下可以把app目录下的软件都传输到hadoop002目录下，测试，速度贼快。 [hadoop@hadoop001 app]$ scp * hadoop002:/home/hadoop/app jdk部署在 /usr/java 目录下 su - root tar -xzvf /home/hadoop/app/jdk-8u45-linux-x64.gz -C ...
Yarn ResourceManager HA配置
03-14
Yarn ResourceManager HA配置，Yarn ResourceManager HA配置
hadoop 安装部署-HDFS/YARN/MR
紫蝶侠的博客
05-07 278
1.HDFS安装 1.配置hdfs的NameNode（core-site.xml) vi etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://kafka1:9000</value> <description>配置NameNode的URL</description> <
HDFS&YARN HA部署
思亘七险，点落九宫，神游八极，纵横十方。
04-10 272
HDFS&YARN HA部署 一：集群资源 集群资源：3台4核4G的服务器(hadoop001,hadoop002,hadoop003)，均为阿里云服务器 需要的安装包： ​ 1.jdk压缩包(jdk-8u45-linux-x64.gz) ​ 2.Hadoop压缩包(hadoop-2.6.0-cdh5.7.0.tar.gz) ​ 3.Zookeeper压缩包(zookeep...
hadoop单节点的hdfs部署二 及 yarn部署
qq_37283909的博客
02-23 411
vi core-site.html 在core-site.html文件中进行如下配置： &amp;lt;name&amp;gt;fs.defaultFS&amp;lt;/name&amp;gt;集群中NameNode结点的URI(包括协议、主机名称、端口号) vi slaves 在slaves文件中写入所有datanode的域名 vi hdfs-site.xml配置snn的端口 在hdfs-site.xml中加入如下配置。...
4、Hadoop高级之HDFS&YARN HA部署
03-31 262
Hadoop HA模拟搭建集群条件准备： 3台虚拟机centos7 64位 hadoop-2.6.0-cdh5.7.0.tar.gz jdk-8u45-linux-x64.gz zookeeper-3.4.6.tar.gz 本地搭建虚拟机；我们采用.net内网模式 hadoop01 ...
[YARN HA架构图 ]
努力努力再努力博客
03-29 538
1.YARN架构图： 2.架构图详解： YARN HA hadoop001：zk rm(zkfc) nm hadoop002：zk rm(zkfc) nm hadoop003：zk nm ZKFC: 线程 只作为RM进程的一个线程而非独立的进程存在 RMStateStore: 存储在zk的/rmstore目录下。 1.acti...
【大数据部署】HDFS，Yarn集群快速搭建教程（涵盖Windows与Linux中的注意事项）
最新发布
Liming07的博客
12-07 1056
大数据Hadoop平台伪分布式搭建，使用详细的图文为大家介绍如何玩转单节点HDFS MapReduce Yarn的平台部署。
【大数据】HDFS,YARN,HADOOP集群部署
梦想小镇
03-31 1074
1:准备好环境包 [root@hadoop001 data]# ll 总用量 532404 -rw-r--r-- 1 root root 42610549 3月 31 09:22 hadoop-2.6.0-cdh5.7.0-src.tar.gz -rw-r--r-- 1 root root 311585484 3月 31 09:24 hadoop-2.6.0-cdh5.7.0.tar...
YARN HA 环境搭建
SnowXu01的博客
09-04 404
1. 主机与服务规划 1.1 主机规划 主机 IP HostName CPU MEMERY USER PWD hadoop181 192.168.207.181 hadoop181 4 CORE 8G hadoop hadoop hadoop182 192.168.207.182 hadoop182 4 CORE 8G hadoop hadoop hadoop183 192.168.207.183 hadoop183 4 CORE 8G hadoop hadoop 1.2 服务规
详述Hadoop HA集群搭建：从HDFSHA到YARNHA
**YARN HA** 则是通过部署多个ResourceManager（RM）来实现。通常有两台机器分别运行Active RM和Standby RM，同样，当主RM故障时，Standby RM会立即接管。这个切换过程也是通过Zookeeper来监控和执行的。 **集群...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值