hadoop HA 模式集群配置文件

最新推荐文章于 2024-07-11 18:52:23 发布
最新推荐文章于 2024-07-11 18:52:23 发布
阅读量1.5w 收藏 6
点赞数 2
分类专栏： hadoop HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25838777/article/details/80734916
版权

修改hadoo-env.sh
export JAVA_HOME=/usr/app/jdk-7u_65-i585


修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/app/hadoop-2.4.1/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>weekend05:2181,weekend06:2181,weekend07:2181</value>
</property>
</configuration>


2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>weekend01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>weekend01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>weekend02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>weekend02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://weekend05:8485;weekend06:8485;weekend07:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/app/hadoop-2.4.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>


修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>


2.2.5修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>yrc</value>
</property>
<!-- 指定RM的名字 -->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>weekend03</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>weekend04</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>weekend03:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>weekend04:8088</value>
</property>
<!-- 指定zk集群地址 -->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>weekend05:2181,weekend06:2181,weekend07:2181</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
</configuration>


修改core-site.xml
<configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1/</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/app/hadoop-2.4.1/tmp</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>weekend05:2181,weekend06:2181,weekend07:2181</value>
</property>
</configuration>


2.2.3修改hdfs-site.xml
<configuration>
<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>weekend01:9000</value>
</property>
<!-- nn1的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>weekend01:50070</value>
</property>
<!-- nn2的RPC通信地址 -->
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>weekend02:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>weekend02:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://weekend05:8485;weekend06:8485;weekend07:8485/ns1</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/app/hadoop-2.4.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>


修改mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>


修改yarn-site.xml
<configuration>
<!-- 开启RM高可用 -->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!-- 指定RM的cluster id -->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster_id</value>
</property>
<!-- 指定RM的名字 -->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!-- 分别指定RM的地址 -->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>weekend03</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>weekend04</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>weekend03:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>weekend04:8088</value>
</property>
<!-- 指定zk集群地址 -->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>weekend05:2181,weekend06:2181,weekend07:2181</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
</configuration>

香宝的私房小厨
关注
专栏目录
Hadoop HA搭建步骤配置文件
tian5753的博客
04-15 928
Hadoop HA 搭建：准备四台机器：1.配置hdfs-site.xml 文件&lt;property&gt; &lt;name&gt;dfs.replication&lt;/name&gt; &lt;value&gt;2&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&amp
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4242
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
Hadoop（HA）高可用配置文件
03-26
详细的 hadoop （HA）高可用配置文件内容，以及注释摘要。四个配置文件详细内容。
hadoop HA配置文件
Ruyasuih的博客
11-20 777
部署hadoop HA时的配置文件
Hadoop的HA模式搭建
最新发布
m0_74934794的博客
07-11 1193
准备三台虚拟机1.修改虚拟机的IP地址和hostname2.配置集群中的ip映射（/etc/hosts）3.关闭虚拟机的防火墙4.集群间实现免密登录每台虚拟机都执行类似操作。
Hadoop的配置文件设置(HDFS HA)
weixin_30951389的博客
12-26 258
Hadoop 2.7.4 + HBase 1.2.6 + ZooKeeper 3.4.10 配置 本文为上述配置的一部分，为方便阅读，故设为独立页面 参考：http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 各虚拟节点配置 ...
一脸懵逼学习Hadoop-HA机制（以及HA机制的配置文件，测试）
weixin_34411563的博客
10-13 127
1：能否让两个NameNode都正常影响客户端请求？ 　　应该让两个NameNode节点在某个时间只能有一个节点正常影响客户端请求，相应请求的必须为Active状态的那一台。 2：standBy状态的节点必须能够快速无缝的切换为active状态： 　　意味着两个NameNode必须时刻保持元数据的一致； 3：HA机制，元数据共享存储，数据同步的问题： 　　分布式应用：管理edits(同步...
HadoopHA配置文件.rar
05-12
本文件"**HadoopHA配置文件.rar**"包含了实现Hadoop HA所需的一些核心配置，主要包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`，以及`slaves`文件。以下将详细解析这些配置文件中的...
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
【Hadoop HA集群部署】是...总结来说，Hadoop HA和YARN HA的配置涉及多个层面，包括网络、安全、配置文件修改以及服务启动和验证。这些步骤的目的是构建一个健壮且高可用的Hadoop环境，以支持大规模的分布式计算任务。
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
12-22
在HA模式下，通常有两台NameNode，一台处于活动状态，另一台处于备用状态。配置HA涉及到`hdfs-site.xml`中的`dfs.nameservice.id`、`dfs.ha.namenodes`、`dfs.namenode.rpc-address`、`dfs.namenode.http-address`等...
hadoop3.x--搭建hadoop高可用集群（HA模式）
lzq00277的博客
04-30 2597
HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群 1、集群规划 hostname ip NN JN DN ZKFC ZK hadoopHA01 192.168.10.201 yes yes yes hadoopHA02 192.168.10.202 yes yes yes yes yes hadoopHA03 192.168.10.203 yes yes yes
HadoopHA集群配置文件
11-28
Hadoop HA 集群搭建所需要的配置文件：core-site，hdfs-site，mapred-site，yarn-site四个xml文件和一个slaves文件
Hadoop HA搭建笔记和配置文件
11-10
Hadoop HA模式搭建的图文笔记、tar包工具包和配置文件等
配hadoopHA最怕就是配置文件错了
04-24
NULL 博文链接：https://java-doom.iteye.com/blog/2418417
原生Hadoop HA集群搭建配置
lquarius的博客
05-27 311
1. 概述 在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在），在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式，一种是NFS（Network File System）方式，另外一种是QJM（Quorum Journal Manager）方式 2 基本原理 hadoop2.0的HA 机制有两个namenode..
HA集群配置文件
qq_43523503的博客
10-20 305
步骤3：修改配置文件 core-siet.xml <configuration> <!-- 指定NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!-- 指定hadoop数据的存储目录 --> &lt
linux ha 配置文件,HAProxy配置文件详解（1）
weixin_35105950的博客
05-12 186
欢迎大家加入 51CTO学院Linux交流群575837909，与喜欢学习Linux小伙伴们做朋友，一起为梦想增值。高性能负载均衡集群HAProxy实战视频课程1、四层和七层负载均衡的区别2、HAProxy与LVS的异同3、快速安装HAProxy集群软件4、HAProxy基础配置文件详解5、 HAProxy配置文件详解6、haproxy 解决集群session共享问题7、启动与测试haproxy的...
hadoop HA 配置文件
weixin_33834910的博客
12-28 149
fs.defaultFS hdfs://rongxinhadoop 这里的 mycluster为HA集群的逻辑名，与hdfs-site.xml中的dfs.nameservices配置一致 hadoop.tmp.dir /data/hadoop1/HAtmp3 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公...
HA高可用集群详细搭建过程及配置文件简介（附带各种组件的安装配置）
Luffy_captain的博客
09-29 1160
配置网络 保证可以ping通外网，关闭防火墙，然后用xshell来操作 //配置的ip、网关等信息 vim /etc/sysconfig/network-scripts/ifcfg-eth0 //网卡 DEVICE=eth0 //是否开机启动 ONBOOT=yes //ip地址 IPADDR=192.168.0.100 //子网掩码 NETMASK=255.255.255.0 ...
Hadoop HA集群配置与启动指南
在实际部署中，还需要配置Hadoop配置文件（如hdfs-site.xml和yarn-site.xml），指定JournalNode的位置、ZooKeeper的连接信息、NameNode和ResourceManager的HA模式等。此外，集群的网络环境、安全认证（如果启用）...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值