hadoop集群双namenode配置

最新推荐文章于 2024-08-03 19:45:00 发布
最新推荐文章于 2024-08-03 19:45:00 发布
阅读量1.2k 收藏 8
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxi1779/article/details/116980743
版权

hadoop-env.sh
export JAVA_HOME=/etc/alternatives/jre_1.8.0_openjdk
export HADOOP_HOME=/usr/local/hadoop/
export HDFS_NAMENODE_USER=hadoop
export HDFS_DATANODE_USER=hadoop
export HDFS_SECONDARYNAMENODE_USER=hadoop
export YARN_RESOURCEMANAGER_USER=hadoop
export YARN_NODEMANAGER_USER=hadoop
export HADOOP_USER_NAME=hadoop
export HADOOP_SHELL_EXECNAME=hadoop

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->



<configuration>
    <!--指定hdfs的nameservice为myha01，需要和core-site.xml中的保持一致
                 dfs.ha.namenodes.[nameservice id]为在nameservice中的每一个NameNode设置唯一标示符。
        配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。
        例如，如果使用"myha01"作为nameservice ID，并且使用"nn1"和"nn2"作为NameNodes标示符
    -->
    <property>
        <name>dfs.nameservices</name>
        <value>myha01</value>
    </property>

    <!-- myha01下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.myha01</name>
        <value>nn1,nn2</value>
    </property>

    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.myha01.nn1</name>
        <value>hadoop01:9000</value>
    </property>

    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.myha01.nn1</name>
        <value>hadoop01:50070</value>
    </property>

    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.myha01.nn2</name>
        <value>hadoop04:9000</value>
    </property>

    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.myha01.nn2</name>
        <value>hadoop04:50070</value>
    </property>
  
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop/hdfs/name</value>
    </property>
 
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
  </property>
  <!-- 指定副本数 -->
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
    <!-- 启用webhdfs -->
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定NameNode的edits元数据的共享存储位置。也就是JournalNode列表
                 该url的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId
        journalId推荐使用nameservice，默认端口号是：8485 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop01:8485;hadoop04:8485;hadoop02:8485/myha01</value>
    </property>

    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop/hdfs/journaldata</value>
    </property>

    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled.myha01</name>
        <value>true</value>
    </property>

    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.myha01</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>

    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>
    </property>

    <!-- 使用sshfence隔离机制时需要ssh免登陆-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property> 

    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>

    <property>
        <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
        <value>60000</value>
    </property>
</configuration>

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
    <name>fs.defaultFS</name>
    	<value>hdfs://myha01</value>
	</property>

	<property>
	    <name>io.file.buffer.size</name>
	    <value>131072</value>
	</property>

	<property>
	    <name>hadoop.tmp.dir</name>
	    <value>/usr/local/hadoop/hdfs/tmp</value>
	</property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
    </property>

    <!-- hadoop链接zookeeper的超时时长设置 -->
    <property>
        <name>ha.zookeeper.session-timeout.ms</name>
        <value>1000</value>
        <description>ms</description>
    </property>
</configuration>

yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
    <!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>

    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop02</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop03</value>
    </property>

    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>

    <!-- 启用自动恢复 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>

    <!-- 制定resourcemanager的状态信息存储在zookeeper集群上 -->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
</configuration>

yarn-env.sh
export JAVA_HOME=/etc/alternatives/jre_1.8.0_openjdk

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
  <!-- 指定mapreduce jobhistory地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop01:10020</value>
    </property>

    <!-- 任务历史服务器的web地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop01:19888</value>
    </property>
</configuration>

上面是所有配置文件，下面所有操作都用hadoop来执行

1.启动ZK（确保所有节点正常） bin/zkServer.sh start
2. hdfs zkfc -formatZK （在主namenode上执行）
3. hdfs --daemon start journalnode （在每个journalnode执行）
4. hdfs namenode -format myha01 (在主namenode上执行，格式化namenode)
5. hdfs --daemon start namenode (在主namenode上执行，启动namenode)
6. hdfs namenode -bootstrapStandby (在副的namenode上执行，拷贝主配置）
7. hdfs --daemon start namenode (在副namenode上执行，启动namenode)
8. hdfs --daemon start zkfc （在主和副上执行）
9. hdfs --daemon start datanode (在datanode上执行，启动datanode)

日常维护
sbin/start-dfs.sh
sbin/stop-dfs.sh

xiaoxi1779
关注
Hadoop双namenode配置搭建（HA）
Trigl的博客
02-14 1万+
配置双namenode的目的就是为了防错，防止一个namenode挂掉数据丢失，具体原理本文不详细讲解，这里只说明具体的安装过程。 Hadoop HA的搭建是基于Zookeeper的，关于Zookeeper的搭建可以查看这里 hadoop、zookeeper、hbase、spark集群环境搭建 ，本文可以看做是这篇文章的补充。这里讲一下Hadoop配置安装。 配置Hadoop文件 需要修
hadoop集群多namenode配置
大数据小白
09-07 8558
多namenode配置 规划： bigdata01.com bigdata02.com bigdata03.com namenode namenode datanode datanode datanode 两个HDFS集群联盟 部署： 在[bigdata01] $ cp -ra...
hadoop2.7.3在集群中配置多个namenode(federation cluster)
archer的技术故事
12-01 1万+
hadoop2.7.3在集群中配置多个namenode 首先需要说明的是，在集群中配置多个namenode和在集群中使用secondaryNamenode是完完全全的两码事。具体是如何区分的，我之后会在写一篇haoop官方当中的译文，同时解释一下这两者的区别。在这里先简答的说一下。secondaryNamenode的作用是给namenode分担压力的，会定时的帮助namenode做一些处理。而配
Hadoop之NN和2NN
最新发布
weixin_57342469的博客
08-03 1136
NameNode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。但是此刻，NameNode运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。
hadoop集群环境搭建(2)--双NameNode
March
02-09 525
环境操作系统：Centos 6.4jdk: 1.7.79hadoop: 2.6.4四台主机：mini01(namenode) +mini02(datanode) +mini03(datanode) +mini04(namenade)部署一、解压hadoop-2.6.4.tar.gztar -zxvf hadoop-2.6.4.tar.gz 二、配置文件修改修改5个文件：hadoop-env.sh、...
hadoop HA启动时 两个namenode节点都是standby，解决办法
热门推荐
s646575997的博客
04-24 3万+
首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了 如果都正常，配置ha 需要zookeeper，先要看看是不是zookeeper没有配置好的问题 如果都正常，在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc，这句是启动zookeeper选举制度，然后执行bin/hdfs haadmin -transitionToActive
Hadoop HA 双namenode搭建
weixin_33893473的博客
04-12 215
机器分布hadoop1 192.168.56121hadoop2 192.168.56122hadoop3 192.168.56123准备安装包jdk-7u71-linux-x64.tar.gzzookeeper-3.4.9.tar.gzhadoop-2.9.2.tar.gz把安装包上传到三台机器的/usr/local目录下并解压配置hostsecho"192.168.56...
解决Hadoop集群丢失Namenode或Datanode问题
liu_xia_zhou的博客
07-04 3973
首先，最开始的问题是我无法在网页查看50070端口，所以我格式化了一下namenode，./hdfs namenode -format并尝试重启hdfs。 发现此时已解决，无50070端口问题，也可在网页查看集群信息，但是竟然datanode消失了 在sbin目录下，我又重新关闭+启动了一波集群 ./start-all.sh发现此时可以解决仍然无效 查阅资料，发现可能是因为不小心多格式化了几次namenode导致，主从机之间clusterID不一致，因此jps不显示datanode的问题。所以我们寻找
hadoop集群搭建和配置
m0_53876797的博客
05-20 2003
hadoop的优势是分布式集群计算，即搭建hadoop集群（完全分布式Hadoop）
Hadoop获得集群NameNode和DataNode状态
fansy1990的专栏
03-29 1万+
软件版本：hadoop2.2，JDK1.7，Intellij idea140. 配置Configuration如果需要使用java程序来获得某个集群的NameNode或DataNode的相关信息，那么Configuration需要如下配置：/** * 获得配置的Configuration * * @return */ public static Configuration ge
Hadoop集群配置
Python_XTyyds的博客
12-11 2581
Hadoop集群配置
hadoop2.0 2个namenode 2个datanode 部署
01-16
1. Hadoop 2.0 2. 部署在2个Ubuntu上 3. 2个namenode 2个datanode
hadoop集群环境搭建--双NameNode
IT赵云的博客
05-01 2257
标题配置文件修改 需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面，具体修改内容如下： core-site.xml <configuration> <!-- 指定hdfs的nameservice为ns --> <property> <name>fs.defaultFS</name> <value>hdfs://ns</value> </property> <!--指定hadoo
hadoop集群两个namenode无法正常启动
会飞的大象
02-27 1226
Hadoop集群有命令直接启动hdfs时，namenode启动后又异常结束。
大数据运维实战第五课 手动模式构建双 Namenode+Yarn 的 Hadoop 集群（上）
fegus的博客
08-18 520
在分布式文件系统 HDFS 中，NameNode 是 master 角色，当 NameNode 出现故障后，整个 HDFS 将不可用，所以保证 NameNode 的稳定性至关重要。在 Hadoop1.x 版本中，HDFS 只支持一个 NameNode，为了保证稳定性，只能靠 SecondaryNameNode 来实现，而 SecondaryNameNode 不能做到热备，而且恢复的数据也不是最新的元数据。...
hadoop3分布式基本部署_hadoop3 双namenode 部署(2)，2024年最新啃下这些Framework技术笔记
2401_84164546的博客
04-13 836
4）4个配置文件，core-site.xml,hdfs-site.xml.mapreduce-site.xml,yarn-site.xml。命令：tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app。（5）将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中。(2)配置hadoop环境变量/etc/profile，并source应用配置。如：mv jdk-8u11-linux-x64 jdk1.8。
hadoop2—namenode—HA原理详解
weixin_33672109的博客
04-07 180
　　在hadoop1中NameNode存在一个单点故障问题，也就是说如果NameNode所在的机器发生故障，那么整个集群就将不可用(hadoop1中有个SecorndaryNameNode，但是它并不是NameNode的备份，它只是namenode的一个助理，协助namenode工作，对fsimage和edits文件进行合并，并推送给NameNode，防止因edits文件过大，导致NameNode...
HDFS------hadoop namenode -format
shuhuai007的专栏
09-02 5597
集群搭建好了以后，通常我们会输入命令：/bin/hadoop namenode -format对hdfs进行格式化，那究竟格式化都做些什么具体的工作呢，怀着好奇心到源码里一探究竟。 首先从这行命令/bin/hadoop namenode -format 可以判断出会调用Name
hadoop集群没有namenode
03-16
如果Hadoop集群没有NameNode，那么这个集群就无法正常工作。因为NameNode是Hadoop分布式文件系统（HDFS）的核心组件之一，它负责管理文件系统的命名空间和数据块的位置信息。如果没有NameNode，HDFS就无法提供文件系统的基本功能，也就无法支持MapReduce计算框架的运行。因此，如果Hadoop集群没有NameNode，需要重新安装或修复NameNode组件，以确保集群正常运行。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值