Hadoop HA高可用搭建教程

已于 2023-07-28 11:58:14 修改
阅读量459 收藏 8
点赞数 3
分类专栏： 大数据集群搭建 文章标签： hadoop hdfs mapreduce
于 2023-04-14 09:49:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_68098409/article/details/130145563
版权

  1. 安装jdk

  2. 安装zookeeper

  3. 启动zookeeper   

  •                                 以上三个内容请关注小赵同学主页，持续更新中~~~

Hadoop HA搭建

  1. 解压Hadoop && 环境 

    [root@master /]# tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/
[root@master /]# vim /etc/profile
#hadoop
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  2. 配置 hadoop-env.sh 文件

    [root@master hadoop]# vim hadoop-env.sh
export JAVA_HOME=/opt/module/java
export HADOOP_PERFIX=/opt/module/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PERFIX/lib:$HADOOP_PERFIX/lib/native"
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

  3. 配置 core-site.xml 文件

    [root@master hadoop]# vim core-site.xml
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ns</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop/tmp</value>
        </property>
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>master:2181,slave1:2181,slave2:2181</value>
        </property>
        <property>
                <name>ipc.client.connect.max.retries</name>
                <value>10</value>
        </property>
        <property>
                <name>ipc.client.connect.retry.interval</name>
                <value>10000</value>
        </property>

  4. 配置 mapred-site.xml 文件

    [root@master hadoop]# vim mapred-site.xml
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

  5. 配置 hdfs-site.xml 文件

    [root@master hadoop]# vim hdfs-site.xml
        <property>
                <name>dfs.nameservices</name>
                <value>ns</value>
        </property>
        <property>
                <name>dfs.ha.namenodes.ns</name>
                <value>nn1,nn2</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.ns.nn1</name>
                <value>master:9000</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.ns.nn1</name>
                <value>master:9870</value>
        </property>
        <property>
                <name>dfs.namenode.rpc-address.ns.nn2</name>
                <value>slave1:9000</value>
        </property>
        <property>
                <name>dfs.namenode.http-address.ns.nn2</name>
                <value>slave1:9870</value>
        </property>
        <property>
                <name>dfs.namenode.shared.edits.dir</name>
                <value>qjournal://master:8485;slave1:8485;slave2:8485/ns</value>
        </property>
        <property>
                <name>dfs.ha.automatic-failover.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.journalnode.edits.dir</name>
                <value>/opt/module/hadoop/journal</value>
        </property>
        <property>
                <name>dfs.client.failover.proxy.provider.ns</name>
                <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
        </property>
        <property>
                <name>dfs.ha.fencing.methods</name>
                <value>shell(/bin/true)</value>
        </property>
        <property>
                <name>dfs.ha.fencing.ssh.private-key-files</name>
                <value>/root/.ssh/id_rsa</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/opt/module/hadoop/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/opt/module/hadoop/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>

  6. 配置 yarn-site.xml 文件

    [root@master hadoop]# vim yarn-site.xml
        <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>rm1,rm2</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm1</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.rm2</name>
                <value>slave1</value>
        </property>
        <property>
                <name>yarn.resourcemanager.recovery.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.resourcemanager.store.class</name>
                <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>
        <property>
                <name>yarn.resourcemanager.zk-address</name>
                <value>master:2181,slave1:2181,slave2:2181</value>
        </property>
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>yarn-ha</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

  7. 配置 workers 文件

    [root@master hadoop]# vim workers
master
slave1
slave2

  8. 分发Hadoop && 环境  

    [root@master hadoop]# scp -r /opt/module/hadoop/ slave1:/opt/module/
[root@master hadoop]# scp -r /opt/module/hadoop/ slave2vim:/opt/module/

  • Hadoop HA启动

  1. 启动JournalNode服务

    root@master hadoop]# hadoop-daemons.sh start journalnode

[root@master hadoop]# jps
1128 Jps
634 JournalNode
430 QuorumPeerMain

  2. 格式化 NameNode (active)节点 && 启动 namenode(active)

    [root@master hadoop]# hdfs namenode -format
[root@master hadoop]# hadoop-daemon.sh start namenode

  3. 格式化 NameNode(standby)节点 && 启动namenode(standby)

    [root@slave1 /]# hdfs namenode -bootstrapStandby
[root@slave1 /]# hadoop-daemon.sh start namenode

     

  4. 格式化 ZKFC 

    [root@master hadoop]# hdfs zkfc -formatZK

       

  5. 启动 HA 集群

    //启动hdfs
[root@master hadoop]# start-dfs.sh
//启动yarn
[root@master hadoop]# start-yarn.sh
//作为一个守护进程启动独立的Web应用程序代理服务器
[root@master hadoop]# yarn-daemon.sh start proxyserver

//启动MapReduce的历史服务器
[root@master hadoop]# mr-jobhistory-daemon.sh start historyserver

  6. 启动成功后查看三个节点jps情况

    //master节点
[root@master hadoop]# jps
10051 DFSZKFailoverController
10723 NodeManager
10548 ResourceManager
5944 JobHistoryServer
9560 DataNode
11721 NameNode
12861 JournalNode
13261 Jps
591 QuorumPeerMain
//slave1节点
[root@slave1 /]# jps
4896 DFSZKFailoverController
6275 JournalNode
4484 JobHistoryServer
4712 DataNode
6568 NameNode
6666 Jps
5052 ResourceManager
349 QuorumPeerMain
5167 NodeManager
//slave2节点
[root@slave2 /]# jps
1400 DataNode
1610 NodeManager
2397 JournalNode
2494 Jps
175 QuorumPeerMain

  7. web端口查看

  • 《~~~恭喜你搭建成功~~~》

小赵同学€
关注
专栏目录
Hadoop HA高可用手把手部署搭建文档
08-10
这是我整理出来的Hadoop HA高可用手把手部署搭建文档
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件
07-02
参照https://blog.csdn.net/hliq5399/article/details/78193113搭建 hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件 可用于检查 或直接复制粘贴拿来用，需要注意的是，环境变量需要检查和配置。
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase） 一、Hadoop HA高可用集群概述 在大数据处理中，高可用集群是非常重要的，Hadoop HA高可用集群可以提供高可靠性和高可用性，确保数据处理不中断。该集群由...
Hadoop之WordCount测试
最新发布
月亮的技术博客
10-04 533
Hadoop是Apache旗下的一个用Java语言实现的开源软件框架，是一个开发和运行处理大规模数据的软件平台。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce编程模型。HDFS是一个高度容错的系统，用于存储大规模数据集，具有高可靠性、高扩展性和高吞吐率的特点。MapReduce则是一个用于处理这些数据集的编程模型，它简化了并行编程的复杂性，使得开发者可以专注于业务逻辑的实现。Hadoop的优势在于其高可靠性、高扩展性、高效性、高容错性以及低成本。
Hadoop HDFS命令操作实例
csdn2486的博客
09-28 874
首先检查master0、slave0虚拟机网络和java版本（”1.7.0_71”）,检查后再启动hadoop[csu@master0 hadoop-2.6.0]$ sbin/start-all.sh (启动)[csu@master0 hadoop-2.6.0]$ sbin/stop-all.sh (关闭)再检查是否启动成功1、创建HDFS目录：-p可以递归创建2、查看之前创建的HDFS目录注意：因为登录的用户为csu，所以会显示/user/csu下的目录。
大数据毕业设计选题推荐-电影数据分析系统-数据可视化-Hive-Hadoop-Spark
IT研究室的博客
10-01 1262
近年来，电影产业呈现蓬勃发展态势。中国电影市场规模持续扩大，票房收入逐年攀升。据国家电影局统计，2019年中国电影总票房达642.66亿元，同比增长5.4%。尽管2020年受疫情影响，票房收入有所下降，但2021年电影市场迅速复苏，全年票房达472.58亿元。与此同时，观众对电影的品质要求不断提高，对影片类型、题材的偏好也呈现多元化趋势。在线票务平台和影评网站的普及，使得大量观影数据得以积累。这些数据不仅包含票房信息，还涵盖观众评分、评论文本等丰富内容。
大数据毕业设计选题推荐-NBA球员数据分析系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-01 1509
NBA作为全球最具影响力的职业篮球联盟，其数据分析在近年来受到越来越多的关注。据统计，2022-2023赛季NBA常规赛共产生1230场比赛，涉及30支球队和数百名球员，每场比赛平均产生超过400个数据点。这些海量数据涵盖了得分、篮板、助攻等常规统计，以及进阶数据如真实命中率、使用率等。NBA官方数据显示，2022年有超过10亿粉丝通过各种渠道关注NBA赛事，其中数据分析内容的需求量年增长率超过20%。然而，面对如此庞大的数据资源，传统的数据处理方法难以应对其复杂性和动态性。
WPF入门教学二十三 自定义控件开发
Life is not divided
09-28 497
自定义控件提供了更高级的功能，允许开发者继承并扩展WPF框架中的现有控件。完成自定义控件的开发后，可以在其他WPF项目中引用并使用它。
Hadoop框架及应用场景说明
finedatalink的博客
09-27 1417
Hadoop是一个开源的分布式系统基础架构。由多个组件组成，组件之间协同工作，进行大规模数据集的存储和处理。本文将探讨Hadoop的架构以及应用场景。
大数据毕业设计选题推荐-个性化图书推荐系统-Python数据可视化-Hive-Hadoop-Spark
IT毕设梦工厂的博客
10-01 1528
随着互联网技术的快速发展和数字阅读习惯的普及，图书市场正经历着深刻的变革。根据中国新闻出版研究院发布的《第十九次全国国民阅读调查报告》显示，2021年我国成年国民人均纸质图书阅读量为4.76本，数字化阅读方式的接触率达到79.4%，较上年增长3.4个百分点。与此同时，中国图书零售市场规模持续扩大，2021年总销售额达到1020.0亿元，同比增长1.65%。然而，面对如此庞大的市场和海量的图书信息，读者往往难以快速找到符合自己兴趣和需求的图书。据调查，超过65%的读者表示在选择图书时感到困惑和压力。
Hadoop krb5.conf 配置详解
qq_43071699的博客
10-02 578
krb5.conf文件是Kerberos认证系统中的一个关键配置文件，它包含了Kerberos的配置信息，如KDC（Key Distribution Centers）和Kerberos相关域的管理员服务器位置、当前域和Kerberos应用的默认设置、以及主机名与Kerberos域的映射等。以下是对Hadoop环境中krb5.conf。
计算机毕业设计 基于Hadoop的智慧校园数据共享平台的设计与实现 Python 数据分析 可视化大屏 附源码 文档
weixin_19164791635
09-26 2018
本文介绍了一款基于Hadoop的智慧校园数据共享平台，该平台利用大数据技术实现校园数据的集中存储、处理和共享。平台服务于管理员和用户，提供教学资源、设施信息、实验数据等服务，旨在提高校园数据管理效率，促进教育信息化，为教育决策提供数据支持。
基于Hadoop的微博舆情监测分析系统
计算机学姐的博客
09-29 1144
【2025最新】基于大数据+大屏可视化+SpringBoot+Vue+MySQL的微博舆情监测分析系统及可视化系统。
基于Hive和Hadoop的电商消费分析系统
图南的博客
09-27 806
本项目是一个基于大数据技术的电商消费分析系统，旨在为用户提供全面的电商消费信息和深入的消费行为分析。系统采用 Hadoop 平台进行大规模数据存储和处理，利用 MapReduce 进行数据分析和处理，通过 Sqoop 实现数据的导入导出，以 Spark 为核心进行高效的数据处理。整个系统结合了大数据处理技术，为用户提供准确的消费数据和深入的市场分析，帮助商家和消费者更好地了解电商趋势和消费动态。
大数据毕业设计选题推荐-热门微博数据可视化分析系统-Hive-Hadoop-Spark
IT毕设梦工厂的博客
09-28 1209
近年来，微博作为中国最大的社交媒体平台之一，其影响力和数据价值日益凸显。据新浪微博2022年第四季度财报显示，微博月活跃用户达到5.84亿，日活跃用户超过2.5亿。这些用户每天产生海量的内容和互动数据，其中热门微博更是成为舆论焦点和信息传播的重要载体。然而，面对如此庞大的数据量，普通用户和研究者往往难以有效地提取和分析有价值的信息。调查显示，超过70%的社交媒体分析师表示缺乏有效的工具来全面分析热门微博的传播特征和影响因素。同时，85%的用户希望能够更直观地了解热门话题的发展趋势和受众反应。
大数据毕业设计选题推荐-广东旅游数据分析系统-Hive-Hadoop-Spark
IT毕设梦工厂的博客
09-28 1280
近年来，广东省旅游业蓬勃发展，成为推动地区经济增长的重要引擎。据广东省文化和旅游厅统计，2022年广东省接待国内外游客4.38亿人次，同比增长28.3%；实现旅游总收入5721.98亿元，同比增长30.7%。这一增长趋势在线上平台得到了充分反映，根据某知名旅游网站的数据，2022年广东省景点相关搜索量同比增长45%，用户评价数量增长52%。然而，面对如此海量的数据，旅游管理部门和游客往往难以有效地提取有价值的信息。调查显示，超过65%的地方旅游管理部门表示缺乏有效的工具来分析和利用这些数据。
WPF后台创建控件和绑定
韬光养晦
09-29 353
【代码】WPF后台创建控件和绑定。
基于ZooKeeper的Hadoop高可用HA搭建指南
Hadoop 3.x 高可用 HA 搭建方式概述 Hadoop 3.x 高可用 HA 搭建方式是指在 Hadoop 集群中实现高可用的方法，旨在提高集群的可用性和可靠性。本文将详细介绍 Hadoop 3.x 高可用 HA 搭建方式的架构、组件、配置和实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小赵同学€

你的鼓励将是我创作的最大动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值