hadoop完全分布式安装配置（备忘录）

最新推荐文章于 2023-09-26 21:05:58 发布
最新推荐文章于 2023-09-26 21:05:58 发布
阅读量227 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010014073/article/details/84647034
版权

Hadoop完全分布式中的概念

在Hadoop完全分布式的安装配置中，可以配置多个NameNode(最多两个)，形成互为热备的状态，解决NameNode单节点故障的问题。

两个NameNode之间通过JN集群来共享元数据。基本的原理和Zookeeper类似，处于Active状态的NameNode，通过将元数据的更新发送给大部分的JN机器，保证只要JN集群大部分的机器存活，处于StandBy状态的NameNode可以同步到这些元数据。

两个NameNode通过Zookeeper实现选举，这个选举的过程是由FailOverController来具体执行的。

NameNode(Active):真正在工作状态的NameNode，保持着元数据，并将元数据的更新信息写入JN

NameNode(Standby):处在备用装填的NameNode，从JN中获取信息，同步元数据。

DataNode：保存数据的节点

JN集群：用来同步元数据的集群，为了防止单节点故障，做成了集群。

Zookeeper：负责集群协调，包括NameNode的选举

FailOverController：联系NameNode和Zookeeper的进程

Hadoop完全分布式集群规划

  1. Hadoop集群模式的安装配置原则
    1. 两个NameNode一般单独安装
    2. FailOverController的进程必须和NameNode装在一起
    3. ResourceManager一般单独安装或和NameNode安装到一起
    4. DataNode单独安装
    5. NodeManager一般和DataNode装在一起
    6. JN要么单独安装，要么和DataNode装在一起
    7. Zookeeper通常是一个单独的集群，如果没有条件也可以配置在hadoop集群中
  1. 五台机器的情况下 
    1. hadoop01  
      1. NameNode
      2. FailOverController
      3. ResourceManager
      4. Zookeeper
    2. hadoop02
      1. NameNode
      2. FailOverController
      3. Zookeeper
    3. hadoop03
      1. DataNode
      2. NodeManager
      3. JN
      4. Zookeeper
    4. hadoop04
      1. DataNode
      2. NodeManager
      3. JN
      4. Zookeeper
    5. hadoop05
      1. DataNode
      2. NodeManager
      3. JN
      4. Zookeeper
  2. 三台机器的情况
    1. hadoop01
      1. NameNode
      2. FailOverController
      3. ResourceManager
      4. DataNode
      5. NodeManager
      6. JN
      7. Zookeeper
    2. hadoop02
      1. NameNode
      2. FailOverController
      3. DataNode
      4. NodeManager
      5. JN
      6. Zookeeper
    3. hadoop03
      1. DataNode
      2. NodeManager
      3. JN
      4. Zookeeper

Hadoop完全分布式安装配置 - HDFS完全分布式 

  1. 准备工作
    1. 配置Host文件
    2. 关闭防火墙
    3. 配置ssh免密登录
    4. 安装JDK
    5. 安装Zookeeper
  2. Hadoop安装
    1. 解压Hadoop
    2. 配置hadoop-env.sh
      1. JAVA_HOME=jdk绝对路径
    3. 配置core-site 
      <configuration>
	<!-- 指定hdfs的nameservice为ns -->
	<property>    
		<name>fs.defaultFS</name>    
		<value>hdfs://ns</value>
	</property>
	<!--指定hadoop数据临时存放目录-->
	<property>
	<!--在hadoop安装目录下 创建一个tmp目录-->
		<name>hadoop.tmp.dir</name>
		<value>/home/software/hadoop-2.7.1/tmp</value>
	</property>   
	<property>    
		<name>io.file.buffer.size</name>    
		<value>4096</value>    
	</property>
    <!--指定zookeeper地址-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
	</property>
</configuration>

        

    4. 配置hdfs-site.xml 
      <configuration>
<!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->    
    <property>    
	<name>dfs.nameservices</name>    
	<value>ns</value>    
	</property>  
	<!-- ns下面有两个NameNode，分别是nn1，nn2 -->
	<property>
	<name>dfs.ha.namenodes.ns</name>
	<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址 -->
	<property>
	<name>dfs.namenode.rpc-address.ns.nn1</name>
	<value>hadoop01:9000</value>
	</property>
	<!-- nn1的http通信地址 -->
	<property>
	<name>dfs.namenode.http-address.ns.nn1</name>
	<value>hadoop01:50070</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
	<name>dfs.namenode.rpc-address.ns.nn2</name>
	<value>hadoop02:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
	<name>dfs.namenode.http-address.ns.nn2</name>
	<value>hadoop02:50070</value>
	</property>
	<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
	<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/ns</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/home/software/hadoop-2.7.1/tmp/journal</value>
	</property>
	<!-- 开启NameNode故障时自动切换 -->
	<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
	<name>dfs.client.failover.proxy.provider.ns</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制 -->
	<property>
	<name>dfs.ha.fencing.methods</name>
	<value>sshfence</value>
	</property>
	<!-- 使用隔离机制时需要ssh免登陆 -->
	<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/root/.ssh/id_rsa</value>
	</property>
	<property> 
	<!--NameNode数据存放位置-->   
	<name>dfs.namenode.name.dir</name>    
	<value>file:///home/software/hadoop-2.7.1/tmp/hdfs/name</value>    
	</property>    
	<property>
	<!--DataNode数据存放位置-->  
	<name>dfs.datanode.data.dir</name>    
	<value>file:///home/software/hadoop-2.7.1/tmp/hdfs/data</value>    
	</property>    
	<!--HDFS副本数量-->  
	<property>    
	<name>dfs.replication</name>    
	<value>2</value>    
	</property>    
</configuration>

       

    5. 配置mapred-site.xml 

      <configuration>
	<property>    
	<name>mapreduce.framework.name</name>    
	<value>yarn</value>    
    </property>
</configuration>

       

    6. 配置yarn-site.xml 
      <configuration>
	<!-- 指定nodemanager启动时加载server的方式为shuffle server -->
	<property>    
	<name>yarn.nodemanager.aux-services</name>    
	<value>mapreduce_shuffle</value>    
	</property>  
	<!-- 指定resourcemanager地址 -->
	<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>hadoop01</value>
	</property> 
</configuration>

       

    7. 配置slaves

      hadoop01
hadoop02
hadoop03

       

    8. 复制hadoop到集群的其他机器

    9. 配置环境变量

      1. vim /etc/profile 修改HADOOP_HOME

  3. 启动完全分布式hadoop
    1. 启动zookeeper

      1. 在所有zk节点运行 zkServer.sh start

    2. 启动jn集群

      1. 在Active NameNode节点运行 hadoop-daemons.sh start journalnode

    3. 格式化zk中hadoop相关znode信息(第一次启动时)

      1. 在Active NameNode节点运行 hdfs zkfc -formatZK

    4. 格式化NameNode(第一次启动时)

      1. 在Active NameNode节点运行 hdfs namenode -format

    5. 启动NameNode

      1. 在Activ NameNode节点运行

        hadoop-daemon.sh start namenode

      2. 在standby NameNode节点运行

        hdfs namenode -bootStrapStandby(第一次启动时)

        hadoop-daemon.sh start namenode

    6. 启动DataNode

      1. 在ActiveNameNode节点上运行

        hadoop-daemons.sh start datanode

    7. 启动zkfc

      1. 在每个NameNode节点上运行

        hadoop-daemon.sh start zkfc

    8. 启动yarn(目前为非ha模式)

      1. 在ResourceManager节点启动yarn

        start-yarn.sh

Hadoop完全分布式安装配置 -YARN完全分布式 

  1. 修改yanr-site.xml 
    <configuration>
	<!-- 配置可以在 nodemanager 上运行 mapreduce 程序 -->
	<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
	</property>
	<!-- 激活 resourcemanager 高可用 -->
	<property>
	<name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
	</property>
	<!-- 指定 resourcemanager 的集群 id -->
	<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>RM_CLUSTER</value>
	</property>
	<!-- 定义 RM 的节点-->
	<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
	</property>
	<!-- 指定 RM1 的地址 -->
	<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>hadoop01</value>
	</property>
	<!-- 指定 RM2 的地址 -->
	<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>hadoop02</value>
	</property>
	<!-- 激活 resourcemanager 自动恢复 -->
	<property>
	<name>yarn.resourcemanager.recovery.enabled</name>
	<value>true</value>
	</property>
	<!-- 配置 resourcemanager 状态信息存储方式,有MemStore和ZKStore-->
	<property>
	<name>yarn.resourcemanager.store.class</name>
	<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
	</property>
	<!-- 配置为 zookeeper 存储时,指定 zookeeper 集群的地址 -->
	<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
	</property>
</configuration>

     

  2. 启动yarn ha模式

    1. 在Active ResourceManager上启动

      start-yarn.sh

      在BackUp ResourceManager上启动

      yarn-daemon.sh start resourcemanager

  3. 通过浏览器查看

    1. hadoop01:8088

      hadoop02:8088

       

       

 

 

 

阿里神鲲
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop完全分布式安装配置
05-24
Hadoop2.7.6完全分布式安装配置，亲测可用！配置文档如：https://blog.csdn.net/likunwen_001/article/details/80434579
YARN学习总结-第八节-YARN节点管理
qq_20995587的博客
08-27 2673
NodeManager NodeManager会执行健康检查，可以是检查磁盘或者任意用户指定的检查脚本，如果检查失败，则标记此节点为unhealthy并且报告给ResourceManager，然后停止分配容器到此节点。 磁盘检查 磁盘检查两个目录（local-dirs和log-dirs）分别由yarn.nodemanager.local-dirs和yarn.nodemanager.log-d...
配置YarnHA出现报错
chenyuxuan360的博客
11-06 430
1.报错信息： Cannot support recovery with an ephemeral server port. Check the setting of yarn.nodemanager.address 2. 解释报错信息： 不能配置信息yarn.nodemanager.address,配置短暂的端口，这个是由于默认配置导致 3.解决方法： 在yarn-site.xml中添加或者修改，然后记得把配置文件给各个主机分发 <...
Hadoop-MapReduce与Yarn配置文件
wudidahuanggua的博客
09-18 1290
mapreduce与yarn配置文件的简单介绍
hadoop2.x配置 - RM与NM相关参数
Mrknowledge
06-11 1177
REFER： ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Hadoop之Yarn的配置（详细步骤）
大数据
11-03 3038
配置 先进入hadoop-2.7.6/etc/hadoop cd /home/ZQ/hadoop-2.7.6/etc/hadoop/ 配置 mapred-site.xml vim mapred-site.xml 增加如下内容 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn&l
hadoop2.7分布式完全安装配置手册
08-22
hadoop2.7分布式完全安装配置手册，含hbase1.2安装配置，图文并茂，一看就会。
Hadoop完全分布式配置.txt
11-05
Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式。 a. 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件...
hadoop完全分布式系统配置
04-20
hadoop完全分布式系统配置
hadoop完全分布式部署
09-25
hadoop完全分布式安装整合hive，亲自在实际服务器安装测试成功
配置YARN集群重启时的作业自动恢复
LittleMagic's Blog
06-11 3717
前言 我们知道，Hadoop YARN的基础架构由ResourceManager实例和NodeManager实例组成。用户提交到YARN集群的作业会抽象成ApplicationMaster和Container的形式，并由NodeManager持有和管理，如下图所示。 问题来了：如果YARN集群整体重启，是不是就意味着所有作业都被强行停止，需要用户手动恢复呢？当然不是，通过适当的配置，...
CDH环境中NodeManager无法启动，ResourceManager无法启动
weixin_42578941的博客
05-05 5349
CDH环境中NodeManager无法启动，ResourceManager无法启动
如何启用和配置YARN
最新发布
m0_53157282的博客
09-26 890
Apache Hadoop的YARN（Yet Another Resource Negotiator）是一个集群资源管理器，用于分配和管理集群中的资源。本文将介绍如何启用和配置YARN。
Hadoop源码分析之NodeManager初始化、启动、注册
JacksonKing的专栏
05-06 1021
目录 Overview Initiate NodeHealthCheckerService init and Startup LocalDirsHandlerService init and startup NodeHealthScriptRunner init and startup NodeStatusUpdater Init and startup ContainerMa...
Hadoop入门学习笔记-第三天（Yarn高可用集群配置及计算案例）
dreamflying33的博客
07-02 465
什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件： HDFS：分布式存储系统 MapReduce：分布式计算系统 YARN： hadoop 的资源调度系统 Common： 以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析 应用”的核心框架 Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 hadoop 集群
Hadoop之YARN命令
iteye_14970的博客
08-11 770
概述 YARN命令是调用bin/yarn脚本文件，如果运行yarn脚本没有带任何参数，则会打印yarn所有命令的描述。 使用: yarn [--config confdir] COMMAND [--loglevel loglevel] [GENERIC_OPTIONS] [COMMAND_OPTIONS] YARN有一个参数解析框架，采用解析泛型参数以及运行类。 命令参数 ...
hadoop配置_Hadoop基础Yarn的基本配置(一)详细过程
weixin_39786706的博客
11-30 1158
大数据系统和分布式系统的参数配置是一个很依赖经验和技巧的工作，后续会详细的讲解如何通过参数配置进行性能优化。为了简单起见，本文和以前的文章HDFS的安装配置一样，只讨论最简单的基本配置。本文首先讨论了Yarn的背景知识，接着介绍详细的配置配置，最后介绍启动的操作。一、预备知识1.1 Yarn的角色及其在系统栈中的位置图1-1Yarn的角色及其在系统栈中的位置图1-1描述了Yarn在系统...
yarn 错误总结
qq_24186017的博客
08-02 1062
resourceManager HA配置，界面YARN NodeManager 8042 yarn.nodemanager.webapp.address http服务端口为localhost 解决：yarn-site.xml中 <property> <name>yarn.nodemanager.webapp.address</name> <value>henghe-053:8042</value> </pr.
YARN详解(ResourceManager/ApplicationMaster/NodeManager/Container)
JensonWong
04-24 5437
一、YARN基本思想 YARN是Hadoop2.0中的资源管理系统，它的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离，主要方法是创建一个全局的ResourceManager(RM)和若干个针对应用程序的ApplicationMaster(AM)。其中RM负责整个系统的资源管理和分配，而AM负责单个应用程序的管理。这里的应用程序是指传统的MapReduce作业或作...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值