Centos7HadoopHA高可用搭建

最新推荐文章于 2024-09-10 22:06:58 发布
最新推荐文章于 2024-09-10 22:06:58 发布
阅读量112 收藏
点赞数
分类专栏： 大数据 Hadoop 文章标签： hadoop spark zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43390704/article/details/119453496
版权

参照Hadoop包里面的share的doc的离线文档

说明：这里搭建HA时一并把分布式zookeeper分布式spark一并搭建了,

以三台主机为主 master slave1 slave2

  1. 解压 重命名 环境变量

    1.	tar -zxvf 解压包名（jdk的包，hadoop包，zookeeper包，spark包）
2.	mv 文件名 重命名
3.	vi /etc/profile（环境变量对所有用户有效）vi ~/.bash_profile(只对当前用户有效)
        export JAVA_HOME=/usr/local/src/jdk
        export HADOOP_HOME=/usr/local/src/hadoop
        export ZOOKEEPER_HOME=/usr/local/src/zookeeper
        export SPARK_HOME=/usr/local/src/spark

        export PATH=$JAVA_HOME/bin:$PATH
        export PATH=$HADOOP_HOME/bin:$PATH
        export PATH=$HADOOP_HOME/sbin:$PATH
        export PATH=$ZOOKEEPER_HOME/bin:$PATH
        export PATH=$SPARK_HOME/bin:$PATH
 
4.	刷新环境变量	source ~/.bash_profile

  2. hadoop-env.sh

    1.	进入到hadoop/etc/hadoop
2.	vi hadoop-env.sh 
    修 export JAVA_HOME=/usr/local/src/jdk

  3. core.site.xml

    vi core.site.xml 
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://mycluster</value>
     </property>
 <property>
     <name>ha.zookeeper.quorum</name>
     <value>master:2181,slave1:2181,slave2:2181</value>
 </property>
 <property>
     <name>hadoop.tmp.dir</name>
     <value>/usr/local/src/hadoop/tmp</value>
 </property>

  4. hdfs-site.xml

    <property>
  		<name>dfs.nameservices</name>
  		<value>mycluster</value>
</property>
<property>
  		<name>dfs.ha.namenodes.mycluster</name>
  		<value>nn1,nn2</value>
</property>
<property>
  		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
 		<value>master:8020</value>
</property>
<property>
 		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
  		<value>slave1:8020</value>
</property>
<property>
 		 <name>dfs.namenode.http-address.mycluster.nn1</name>
		 <value>master:50070</value>
</property>
<property>
  		<name>dfs.namenode.http-address.mycluster.nn2</name>
 		<value>slave1:50070</value>
</property>
<property>
 		<name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value> 		 																     
</property>
<property>
 		 <name>dfs.client.failover.proxy.provider.mycluster</name>                  
         <value>org.apache.hadoop.hdfs.server.namenode.ha
            .ConfiguredFailoverProxyProvider</value>
</property>
<property>
 		 <name>dfs.ha.fencing.methods</name>
 		 <value>shell(/bin/true)</value>
</property>
<property>
  		<name>dfs.journalnode.edits.dir</name>
  		<value>/usr/local/src/hadoop/journaldata</value>
</property>
<property>
  	 	<name>dfs.ha.automatic-failover.enabled</name>
   		<value>true</value>
</property>

  5. mapred-site.xml

    cp mapred-site.xml.template  mapred-site.xml
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

  6. yarn-site.xml

    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
 </property>
 <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster1</value>
 </property>
 <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
 </property>
 <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>master</value>
 </property>
 <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>slave1</value>
 </property>
 <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>master:2181,slave1:2181,slave2:2181</value>
 </property>
<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
</property>
<property>
  	  <name>yarn.resourcemanager.scheduler.class</name>
  	  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair
        .FairScheduler</value>
</property>
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

  7. 修改slaves

    vi slaves
    master
    slave1
    slave2

  8. 配置zookeeper

    1.	cd zookeeper/conf 
2.	cp zoo_sample.cfg zoo.cfg
3.	vi zoo.cfg
    修 dataDir=/usr/local/src/zookeeper/data
    添加 server.1=master:2888:3888
    server.2=slave1:2888:3888
    server.3=slave2:2888:3888
4.	配置zookeeper的myid（执行完十步然后执行，三台机上面都要执行）
    vi zookeeper/data
    echo 1 > zookeeper/data/myid（slave1上数字改为2）
5.	启动和查看zookeeper
    zkServer.sh start/zkServer.sh stop
    zkServer.sh status

  9. 高可用搭建spark

    1.	cd spark/conf	
2.	cp spark-env.sh.template spark-env.sh
3.	vi spark-env.sh
    添加	export JAVA_HOME=/usr/local/src/jdk
    export SPARK_HOME=/usr/local/src/spark
    export HADOOP_CONF_DIR=/usr/local/src/hadoop/etc/hadoop	
4.	cp slaves.template slaves
5.	vi slaves
    master
    slave1
    slave2

  10. 分发配置文件

    1.	scp -r /usr/local/src/hadoop spark zookeeper jdk slava1:/usr/local/src
2.	scp ~/.bash_profile slave1:~

  11. 格式化并启动

    1.	启动所有的journalnode（三台机器都要）
        hadoop-daemon.sh start journalnode
2.	格式化master上的namenode并启动
        hdfs namenode -format
        hadoop-daemon.sh start namenode
3.	slave1复制master的namenode并启动
        hdfs namenode -bootstrapStandby
        hadoop-daemon.sh start namenode
4.	在master上的namenode上格式化ZKFC
        hdfs zkfc -formatZK
5.	启动hadoop集群
 	    cd hadoop/sbin	
 	    start-all.sh/stop-all.sh
6. 	启动JobHistoryServer节点
        cd hadoop/sbin
        mr-jobhistory-daemon.sh start historyserver

  12. spark运行jar包

    hdsf下运行spark代码jar包：
    spark-submit --class 类名 --master yarn --deploy-mode client --
    executor-memory 1G -- num-executors 3 hotels.jar hdfs://master:8020

第二种方式进行cluster：
    spark-submit --class HotelTask1 --master yarn --deploy-mode cluster --
    executor-memory 1G --num-executors 3 hotels.jar hdfs://master:8020

    需要全套搭建最简化的视频与全套安装包的请添加群924338546

爱程序的小姚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centos7搭建hadoop2.10高可用(HA)
01-09
本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jns(journalnodes) IP hostname 进程 192.168.30.141 s141 nn1（namenode），zkfc（DFSZKFailoverController），zk（QuorumPeerMain） 192.168.30.142 s142 dn（datanode）, jn（journalnode），zk（QuorumPeerMain） 192.168.30.143 s143 dn（datanode）,
Hadoop完全分布式集群搭建
weixin_44847293的博客
11-21 367
软件和操作系统版本 Hadoop框架是采⽤Java语⾔编写，需要java环境（jvm） JDK版本：JDK8版本 集群： 知识点学习：统⼀使⽤vmware虚拟机虚拟三台linux节点，linux操作系统：Centos7 项⽬阶段：统⼀使⽤云服务器，5台云服务器节点 Hadoop搭建方式 单机模式：单节点模式，⾮集群，⽣产不会使⽤这种⽅式 单机伪分布式模式：单节点，多线程模拟集群的效果，⽣产不会使⽤这种⽅式 完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（⽣产环境建议使⽤这种⽅式） .
“傻瓜式”基于 Centos 7.x 搭建 Hadoop 2.7.x 完全分布式集群(非HA)
qq_41311979的博客
02-10 299
搭建 Hadoop 集群 1、前提准备 1.1 准备3台虚拟机 本次搭建环境采用 Centos 7.x 1.2 配置静态IP 如果不会配置的读者，可以参考本链接进行配置 静态IP配置 1.3 修改主机 为了方便称号每台主机，需要配置主机映射(每一台主机执行相同操作) (如果读者对于 [root@hadoop102 ~] 中的 hadoop102 有疑问，可以参考静态IP配置中的相关内容进行阅读并配置) hadoop102： [root@hadoop102 ~]# vim /etc/hosts 添加如下内容
Centos 7 Hadoop3.x HA 高可用搭建教程
qq_40076192的博客
10-09 4334
Hadoop3.x HA 高可用搭建教程
centos7搭建hadoop高可用(ha)集群
greatxiaoting的专栏
09-18 1179
hadoop高可用(ha)集群实现目标： s101和s105设置为名称节点，可以互相切换为active状态； s102~104设置为数据节点和journalnode节点。 准备工作： centos7搭建hadoop分布式集群，参考文章：https://blog.csdn.net/greatxiaoting/article/details/81571187 注：hadoop高可用(ha)集...
CentOS 搭建 Hadoop3 高可用集群
热门推荐
桃李不言下自成蹊
11-01 3万+
在/etc/systemd/system/文件夹下创建一个启动脚本zookeeper-3.service。上传本地测试文件 wcdata.txt 到 HDFS 上 /wordcount/input。在 HDFS 上创建目录 /wordcount/input。浏览器访问:http://spark01:19888/浏览器访问: http://spark01:9870。浏览器访问:http://spark01:8088。将元数据内容按照指定格式读取后写入到新文件中。将元数据内容按照指定格式读取后写入到新文件中。
Centos7 部署hadoop高可用集群
qq_34158880的博客
07-26 909
centos7 部署高可用hadoop集群
Centos7 + Hadoop 3.3.4 HA高可用集群部署
snipercai的博客
07-26 1115
本次测试采用3台虚拟机，操作系统版本为centos7.6，Hadoop版本为3.3.4，Namenode采用HA高可用架构
教程：centos7下hadoop2.7.7--HA高可用全分布式详细搭建
酒心★
11-15 950
一、概述 （1）hadoop-HA集群运作机制介绍 　　所谓HA，即高可用（7*24小时不中断服务） 　　实现高可用最关键的是消除单点故障 　　hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA （2）HDFS的HA机制详解 　　通过双namenode消除单点故障 　　双namenode协调工作的要点： 　　A、元数据管理方式需要改变： 　　　　内存中各自保存一...
CentOS7.4版本Hadoop高可用模式搭建
zzp28218的博客
11-17 1359
前言：仅用于学习交流，配置文件可能和工作中有写差别。本次实验用到的软件有： hadoop-2.6.0.tar.gz jdk-8u161-linux-x64.tar.gz zookeeper-3.4.5.tar.gz 搭建前提：已完成hadoop完全分布式所需的所有操作。 计划： 一主三从的完全分布式hadoop集群，节点名称：master、slave、slave2、slave3 选择master节点和slave3节点为Namenode节点 一、搭建HA模式，修改相关配置文件 1. 创建存放HA的文件夹，
Linux基础环境搭建（CentOS7）- 虚拟机准备_搭建hadoop能使用桥接模式吗
2401_86400233的博客
09-10 764
FTP服务器，文件及存储服务器，图形生成工具，硬件监控工具，身份管理服务器，KDE，大系统性能，传统 X Windows 系统的兼容性，MariaDB数据库服务器，PHP 支持，Python，虚拟化 Hypervisor，安全性工具，智能卡支持，系统管理工具。编辑ifcfg-ens33文件，修改BOOTPROTO和ONBOOT参数，添加IPADDR,NETMASK,GATEWAY,DNS1,DNS2,HWADDR(粘贴刚才复制的序列号），然后wq保存。禁止firewall开机启动。
Spark2.x 入门：决策树分类器
跟着大数据和AI去旅行
09-06 410
一、方法简介 ​ 决策树（decision tree）是一种基本的分类与回归方法，这里主要介绍用于分类的决策树。决策树模式呈树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。学习时利用训练数据，根据损失函数最小化的原则建立决策树模型；预测时，对新的数据，利用决策树模型进行分类。 决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的剪枝。
计算机毕业设计PySpark+Django考研分数线预测 考研院校推荐系统 考研推荐系统 考研爬虫 考研大数据 Hadoop 大数据毕设 机器学习 深度学习
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
09-07 1222
计算机毕业设计PySpark+Django考研分数线预测 考研院校推荐系统 考研推荐系统 考研爬虫 考研大数据 Hadoop 大数据毕设 机器学习 深度学习
Spark数据介绍
qq_41081716的博客
09-06 849
RDD适合需要高度定制化的数据处理逻辑，对容错性要求高的批处理任务。DataFrame适合处理结构化数据，需要快速开发周期，易于使用 SQL 查询的场景。Dataset：结合了 RDD 和 DataFrame 的优点，提供了类型安全和优化执行的能力，适合需要结构化数据处理同时需要一定程度自定义逻辑的情况。
比较Spark与Flink
最新发布
Casual_Lei的博客
09-10 631
如果你的任务主要是批处理或者是对延迟要求不是很高的流处理，并且需要一个丰富的生态系统（如机器学习、图计算等），Spark是不错的选择。如果你主要关注实时流处理，对低延迟、高吞吐量以及精确一次语义有需求，或者希望能够精细控制流任务，Flink更适合。两者各有所长，选择时需要根据具体的业务需求做权衡。
Spark-ShuffleReader
lu070828的博客
09-10 553
中讲了ShuffleManager的大致轮廓，接下来我们来对ShuffleReader展开详细分析。
Spark2.x 入门： KMeans 聚类算法
跟着大数据和AI去旅行
09-07 1021
KMeans 是一个迭代求解的聚类算法，其属于 划分（Partitioning） 型的聚类方法，即首先创建K个划分，然后迭代地将样本从一个划分转移到另一个划分来改善最终聚类的质量。 ML包下的KMeans方法位于org.apache.spark.ml.clustering包下，其过程大致如下： 1.根据给定的k值，选取k个样本点作为初始划分中心； 2.计算所有样本点到每一个划分中心的距离，
CentOS7中Hadoop HA集群详细搭建步骤
"本文将详细介绍如何搭建Hadoop HA（高可用）集群，包括环境准备、集群部署、配置步骤以及集群初始化等关键环节。" 在搭建Hadoop HA集群之前，首先需要进行环境准备工作。在这个阶段，我们需要在Linux环境中安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值