hadoop HA

最新推荐文章于 2024-11-11 22:16:36 发布
最新推荐文章于 2024-11-11 22:16:36 发布
阅读量196 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34056219/article/details/79053729
版权

hadoop HA

1.集群规划

主机名ip安装软件
master01192.168.232.128jdk,hadoop
master02192.168.232.133jdk,hadoop
slave01192.168.232.135jdk,hadoop,zookeeper
slave02192.168.232.132jdk,hadoop,zookeeper
slave03192.168.232.134jdk,hadoop,zookeeper

2.准备

  将个机器安装好jdk,并配置好免密登陆

3. 在slave01/slave02/slave03上安装zookeeper

  参考http://blog.csdn.net/qq_34056219/article/details/78745915

4. 安装hadoop

4.1. 准备

下载hadoop-2.7.0.tar.gz，并将其移动到/usr/local/下
这里写图片描述
解压

[root@master01 local]# tar -zxvf hadoop-2.7.0.tar.gz

得到文件夹hadoop.-2.7.0
将hadoop-2.7.0改名为hadoop

[root@master01 local]# mv hadoop-2.7.0 hadoop

将文件夹hadoop的所属者/组改为hadoop

[root@master01 local]# chown -R hadoop:hadoop /usr/local/hadoop

4.2. 设置环境变量

[root@master01 local]# vi /etc/profile

  在最后写上

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin：$PATH

  更新配置

[root@master01 local]# source /etc/profile

4.3. 修改配置

配置hadoop-env.sh

  配置生效

[root@master01 local]# cd /hadoop/etc/hadoop
[root@master01 local]# vi hadoop-evn.sh

  进入文件后

export JAVA_HOME=${JAVA_HOME}  #将这个改成JDK路径，如下  
export JAVA_HOME=/usr/local/java/jdk1.8.0_144

  然后更新文件配置

[root@master01 local]# source ./hadoop-evn.sh
配置core-site.xml
<configuration>
    #这里的值指的是默认的HDFS路径。当有多个HDFS集群同时工作时，集群名称在这里指定！该值来自于hdfs-site.xml中的配置
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster1</value>
    </property>  
    #这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data/hadoop/tmp</value>
    </property>
    <!--这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
    <property>
       <name>ha.zookeeper.quorum</name>
       <value>slave01:2181,slave02:2181,slave03:2181</value>
    </property>
</configuration>
配置hdfs-site.xml
<configuration>
    <!--指定hdfs的nameservice为cluster1，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>cluster1</value>
    </property>
    <!-- cluster1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.cluster1</name>
        <value>nn1,nn2</value>      
    </property> 
    <!-- nn1的RPC通信地址 -->
    <property>   
        <name>dfs.namenode.rpc-address.cluster1.nn1</name>     
        <value>master01:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.cluster1.nn1</name>
        <value>master01:50070</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.cluster1.nn2</name>
        <value>master02:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.cluster1.nn2</name>
        <value>master02:50070</value>
    </property>
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://slave01:8485;slave02:8485;slave03:8485/cluster1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 --> 
    <property>  
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/local/hadoop/data/journaldata</value>  
    </property>  
    <!-- 开启NameNode失败自动切换 -->
    <property>  
        <name>dfs.ha.automatic-failover.enabled</name>  
        <value>true</value>  
    </property>  
    <!-- 配置失败自动切换实现方式 --> 
    <property>  
        <name>dfs.client.failover.proxy.provider.cluster1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>  
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行--> 
    <property>  
        <name>dfs.ha.fencing.methods</name>
        <value>  
            sshfence  
            shell(/bin/true)  
        </value>  
    </property>  
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>  
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>  
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>  
        <name>dfs.ha.fencing.ssh.connect-timeout</name>  
        <value>30000</value>  
    </property>  
</configuration>
配置mapred-site.xml

  先将mapred-site.xml.template改名为mapred-site.xml然后修改mapred-site.xml

<configuration>  
    <!-- 指定运行mapreduce的环境是yarn -->  
    <property>  
        <name>mapreduce.framework.name</name>  
        <value>yarn</value>  
    </property>  
</configuration>
配置yarn-site.xml
<configuration>  
    <!-- 开启RM高可用-->  
    <property>  
       <name>yarn.resourcemanager.ha.enabled</name>  
       <value>true</value>  
    </property>  
    <!-- 指定resourcemanager的cluster id -->  
    <property>  
       <name>yarn.resourcemanager.cluster-id</name>  
       <value>yrc</value>  
    </property>  
    <!-- 指定ResourceManager的名字 -->  
    <property>  
       <name>yarn.resourcemanager.ha.rm-ids</name>  
       <value>rm1,rm2</value>  
    </property>  
    <!-- 分别指定ResourceManager1的地址 -->  
    <property>  
       <name>yarn.resourcemanager.hostname.rm1</name>  
       <value>master01</value>  
    </property> 
    <!-- 分别指定ResourceManager2的地址 -->  
    <property>  
       <name>yarn.resourcemanager.hostname.rm2</name>  
       <value>master02</value>  
    </property>  
    <!-- 指定zookeeper集群地址 -->  
    <property>  
       <name>yarn.resourcemanager.zk-address</name>  
       <value>slave01:2181,slave02:2181,slave03:2181</value>  
    </property>  
    <property>  
       <name>yarn.nodemanager.aux-services</name>  
       <value>mapreduce_shuffle</value>  
    </property>  
</configuration>
配置slaves
slave01
slave02
slave03

5. 拷贝

最后，把Hadoop整个目录拷贝到master02,slave01/02/03，拷之前把share下doc删了（文档不用拷），这样会快点

[hadoop@master01 local]# scp -r hadoop hadoop@master02:/usr/local/
[hadoop@master01 local]# scp -r hadoop hadoop@slave01:/usr/local/
[hadoop@master01 local]# scp -r hadoop hadoop@slave02:/usr/local/
[hadoop@master01 local]# scp -r hadoop hadoop@slave03:/usr/local/

6. 启动

6.1. 启动zookeeper集群（在slave01、slave02、slave03上启动）

[hadoop@slave01 ~]# cd /usr/local/zookeeper/bin
[hadoop@slave01 bin]# ./zkServer.sh start
<!--查看状态：一个leader，两个follower-->
[hadoop@slave01 bin]# ./zkServer.sh status

6.2. 启动journalnode（分别在在slave01、slave02、slave03上执行）

[hadoop@slave01 ~]# cd /usr/local/hadoop/sbin
[hadoop@slave01 sbin]# ./hadoop-daemon.sh start journalnode
#验证
[hadoop@slave01 sbin]# jps
#显示JouralNode + QuorumpeerMain

6.3. 格式化namenode（master01）

[hadoop@master01 ~]# hdfs namenode -format

注意：格式化之后需要把tmp目录拷给master02（不然master02的namenode起不来）

[hadoop@master01 ~]# cd /usr/local/hadoop/data/hadoop
[hadoop@master01 hadoop]# scp -r tmp hadoop@master02:/usr/local/hadoop/data/hadoop/

6.4. 格式化zkfc（master01）

[hadoop@master01 ~]# hdfs zkfc -formatZK

6.5. 启动HDFS(master01)

[hadoop@master01 ~]# cd /usr/local/hadoop/sbin
[hadoop@master01 sbin]# ./start-dfs.sh

6.6. 启动YARN(master01)

[hadoop@master01 sbin]# ./start-yarn.sh

注意:

  • master02的resourcemanager需要手动单独启动：
    yarn-daemon.sh start resourcemanager
  • namenode、datanode也可以单独启动：
    hadoop-daemon.sh start namenode
    hadoop-daemon.sh start datanode
谜之未来
关注
专栏目录
Hadoop分布式集群安装问题解决：linux下scp把master配置好的hadoop文件传到slave节点报Permission denied错误的解决（实测有效）
qq_39124136的博客
10-28 3494
1.ssh配置完成后，scp 文件 到 Slave1:/usr/local/hadoop，结果出现Permission denied，出现这种情况是hadoop用户没有该目录的权限. 自己的解决办法： master: 进入移动文件的上一层目录中： 如：/usr/local/hadoop/hadoop-2.7.1(本人文件位置) cd /usr/local/hadoop sudo chmod 777...
Hadoop HA
qq_25460227的博客
08-01 416
第一节：HADOOP HA概述 1.1 背景 ​ 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程不可用，整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动为止。这在两个主要方面影响了HDFS集群的总体可用性： 在计划外事件（例如机器崩溃）的情况下，直到操作员重新启动NameNod...
大数据入门（14）hadoop+yarn+zookeeper集群搭建
m0_67391521的博客
08-28 422
2.2.6修改slaves(slaves是指定子节点的位置，因为要在weekend01上启动HDFS、在weekend03启动yarn，所以weekend01上的slaves文件指定的是datanode的位置，#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/weekend/hadoop-2.4.1/tmp，#然后将/weekend/hadoop-2.4.1/tmp拷贝到weekend02的/weekend/hadoop-2.4.1/下。...
Hadoop_HA配置过程记录
Regan_Hoo的博客
11-20 703
一、修改配置文件 ①vim hadoop-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_71 ②vim core-site.xml<property> <name>fs.defaultFS</name> <value>hdfs://cluster1</value> </property> 【默认的HDFS路径。多个HDFS集群同时工作时，集群名
三台机器搭建Hadoop集群
灿若星辰丶的博客
07-27 3047
目标： 一台Master   两台Slave   一、修改主机名，配置/etc/hosts文件       "/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostName  IP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名对应的IP地址。在/etc/hosts文件里面添加如下：        可以ping 一下...
Hadoop的高可用HA部署
云主宰苍穹
04-03 1235
引言   有基础的读者，可以直接跳到第三章：环境搭建。前面两章都是一些相关的理论基础和准备工作。而对于完全是第一次搭建Hadoop高可用HA集群的读者，强烈建议花几分钟看一看这些理论基础和准备工作，便于后面更好地理解和搭建集群环境。 理论分析   本章将从进程间的通信机制RPC，Hadoop基础理论和ZooKeeper基础理论来阐述，首先对此有一定的理论理解基础，便于后面的环境快速搭建。   关于...
Hadoop HA 搭建
不搞数学的汤老师
05-03 3265
Hadoop 主要由 HDFS、YARN 和 MapReduce 三大组件构成。HDFS：分布式文件存储，用于大规模数据存储。由 NameNode 与 DataNode 构成。NameNode：管理元数据。维护文件系统目录结构，管理数据块和数据节点的映射关系，处理客户端的文件请求。当 NN 宕机时整个 HDFS 不可使用，需要对其做 HA。DataNode：存储实际的数据。执行来自客户端的读写请求（数据会复制多份存储在不同的 DN 上），定期向 NN 发送心跳并上报状态。
Hadoop HA 部署
记录点点滴滴
03-10 1181
Hadoop HA 部署Hadoop 规划集群HA 集群部署HA 集群准备创建文件(所有节点)HDFS-HA 配置配置 core-site.xml配置 hdfs-site.xmlYARN-HA 配置配置 yarn-site.xml分发运行 HA配置环境变量保证 ZooKeeper 启动格式化 namenode初始化 HA 在 Zookeeper 中状态启动 HA 服务脚本测试 HA Hadoop 规划集群 cpu101 cpu102 cpu103 HDFS NameNode NameNod
Hadoop HA介绍
凉茶铺的博客
10-28 1073
对Hadoop高可用进行了简要的介绍
HadoopHA集群配置文件
11-28
本文将深入探讨Hadoop HA（高可用性）集群的配置文件，包括`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`、`yarn-site.xml`以及`slaves`文件，这些都是确保Hadoop集群稳定运行的基础。 1. `core-site.xml`:...
hadoopHA搭建资源包
04-01
在IT行业中，Hadoop HA（高可用性）是大数据处理领域的一个重要概念，它确保了Hadoop集群在主节点故障时能够无缝切换到备份节点，从而保持服务的连续性和数据的完整性。本资源包提供了搭建Hadoop HA所需的关键组件，...
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
【Hadoop HA集群部署】是高可用(High Availability)配置的一种，主要目的是为了确保Hadoop分布式文件系统在遇到单点故障时，能够自动切换到备用节点，保证服务不间断。这通常涉及到NameNode HA，Secondary NameNode...
HadoopHA集群部署、规划HadoopHA集群教学课件.pptx
06-20
【Hadoop HA 集群部署详解】 在大数据领域，Hadoop HA（高可用性）是确保服务持续可用的关键技术，特别是在生产环境中。HA通过在出现故障时将工作负载自动转移到备份节点，来保证系统的稳定性。本文将深入探讨...
【Hadoop实训】Flume系统负载均衡测试
一只大数据专业的傻猪猪
11-08 615
hadoop课程之Flume系统负载均衡测试学习
Hadoop(HDFS)
weixin_42828342的博客
11-09 993
Hadoop是一个开源的分布式系统架构，旨在解决海量数据的存储和计算问题，Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）、MapReduce编程模型和YARN资源管理器,最近需求需要用到HDFS和YARN。
深入解析Hadoop：大数据处理的基石
最新发布
qq_63961628的博客
11-11 483
随着信息技术的快速发展和互联网的普及，数据的产生速度极具增加。面对如此海量的数据，传统的数据处理工具显得力不从心。在这种背景下，诞生了一系列用于处理大数据的框架与工具，而Apache Hadoop便是其中最为知名和应用最广泛的一个。本文将深入解析Hadoop的基本原理、架构及其在大数据处理中的重要性。
计算机毕业设计Python+图神经网络考研院校推荐系统 考研分数线预测 考研推荐系统 考研爬虫 考研大数据 Hadoop 大数据毕设 机器学习 深度学习
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
11-08 1039
计算机毕业设计Python+图神经网络考研院校推荐系统 考研分数线预测 考研推荐系统 考研爬虫 考研大数据 Hadoop 大数据毕设 机器学习 深度学习
com.pureharmony.exception.CloudBackupFailureException.md
11-11
鸿蒙开发中碰到的报错，问题已解决，写个文档记录一下这个问题及解决方案
PikaPython 是一个完全重写的超轻量级python引擎，零依赖，零配置，可以在少于4KB的RAM下运行 极易部署和扩展
11-11
PikaPython 是一个完全重写的超轻量级python引擎，零依赖，零配置，可以在少于4KB的RAM下运行(如stm32g030c8和stm32f103c8)，极易部署和扩展
Hadoop HA集群配置与启动指南
Hadoop HA主要关注两个主要组件的高可用性：HDFS HA和YARN HA。 HDFS HA通过引入两个活动/备用的NameNode（Active NN和Standby NN）来消除NameNode的单点故障。当Active NN发生故障时，Standby NN可以快速接管，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值