hadoop高可用（完全分布式）

最新推荐文章于 2024-05-14 04:09:21 发布
最新推荐文章于 2024-05-14 04:09:21 发布
阅读量405 收藏 3
点赞数
文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/heshiqi9927/article/details/106809168
版权

1.防火墙关闭

systemctl stop firewalld
systemctl disable firewalld

2.主机映射

vi /etc/hosts

在这里插入图片描述

一、zookeeper配置

1、创建文件software 和module

mkdri /opt/software module

2、解压zookeeper压缩包到module里面

[root@hadoop101 software]# tar -xvf zookeeper-3.4.7.tar.gz  -C /opt/module/

3、进入conf，然后cp zoo_sample.cfg zoo.cfg

[root@hadoop101 software]# cd /opt/module/zookeeper-3.4.7/conf
[root@hadoop101 conf]# cp zoo_sample.cfg zoo.cfg
[root@hadoop101 conf]# vi zoo.cfg

配置内容如下：
dataDir=/opt/module/zookeeper-3.4.7/DataZK
server.1=hadoop101:2888:3888
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
4、创建mkdir /opt/module/zookeeper-3.4.7/DataZK
5、进入DataZK

[root@hadoop101 DataZK]# echo 1 > myid

6、复制到另外两个节点

[root@hadoop101 DataZK]# scp -r /opt/module/zookeeper-3.4.7 root@hadoop102:/opt/module/
[root@hadoop101 DataZK]# scp -r /opt/module/zookeeper-3.4.7 root@hadoop103:/opt/module/

7、修改hadoop102 和 hadoop103的myid，分别为2和3
8、启动zookeeper，到bin目录下./zkServer.sh start （每一台都要）

[root@hadoop101 zookeeper-3.4.7]# cd bin/
[root@hadoop101 bin]# ./zkServer.sh start

成功效果：
在这里插入图片描述9、查看状态，到bin目录下./zkServer.sh status（每一台），成功效果：
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述

二、hadoop配置

1、解压hadoop到文件module里面


[root@hadoop101 software]# tar -xvf hadoop-2.9.2.tar.gz -C /opt/module/

2、进入hadoop的etc/hadoop目录下面

[root@hadoop101 software]# cd /opt/module/hadoop-2.9.2/etc/hadoop/

3、修改文件hadoop-env.sh

export HADOOP_IDENT_STRING=$USER
export JAVA_HOME=/opt/module/jdk1.8.0_221
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

4、配置core-site.xml

<configuration>
    <!--用来指定hdfs的老大：ns (namespace)-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns</value>
    </property>
    <!--执行zookeeper地址-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
    </property>
    <!--用来指定hadoop运行时产生文件的存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.9.2/tmp</value>
    </property>
</configuration>

5、配置hdfs-site.xml

<configuration>
<!--执行hdfs的nameservice为ns，和core-site.xml的fs.defaultFS值保持一致-->
    <property>
        <name>dfs.nameservices</name>
        <value>ns</value>
    </property>
    <!--ns下有两个namenode，分别是nn1、nn2-->
    <property>
        <name>dfs.ha.namenodes.ns</name>
        <value>nn1,nn2</value>
    </property>
    <!--nn1的RPC通信地址-->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn1</name>
        <value>hadoop101:9000</value>
    </property>
    <!--nn1的http通信地址-->
    <property>
        <name>dfs.namenode.http-address.ns.nn1</name>
        <value>hadoop101:50070</value>
    </property>
    <!--nn2的RPC通信地址-->
    <property>
        <name>dfs.namenode.rpc-address.ns.nn2</name>
        <value>hadoop102:9000</value>
    </property>
    <!--nn2的http通信地址-->
    <property>
        <name>dfs.namenode.http-address.ns.nn2</name>
        <value>hadoop102:50070</value>
    </property>
    <!--指定namenode的元数据在JournalNode上的存放位置，这样，namenode2可以从jn集群里获取最新的namenode的信息，达到热备的效果-->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/ns</value>
    </property>
    <!--指定JournalNode存放数据的位置-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/module/hadoop-2.9.2/journal</value>
    </property>
    <!--开启namenode故障时自动切换-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!--配置切换的实现方式,客户端故障转移代理提供者-->
    <property>
        <name>dfs.client.failover.proxy.provider.ns</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!--配置隔离机制：通过秘钥隔离机制-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <!--配置隔离机制的ssh登录秘钥所在的位置-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
    <!--配置namenode数据存放的位置,可以不配置，如果不配置，默认用的是
      core-site.xml里配置的hadoop.tmp.dir的路径-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/module/hadoop-2.9.2/tmp/namenode</value>
    </property>
    <!--配置datanode数据存放的位置,可以不配置，如果不配置，默认用的是
      core-site.xml里配置的hadoop.tmp.dir的路径-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/module/hadoop-2.9.2/tmp/datanode</value>
    </property>
    <!--配置block副本数量-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件-->
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configurationi>

6、配置mapred-site.xml

[root@hadoop101 hadoop]# cp mapred-site.xml.template mapred-site.xml  

<property>
        <!--指定mapreduce运行在yarn上-->
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

7、配置yarn-site.xml

<property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--指定两个resourcemanager的名称-->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!--配置rm1，rm2的主机-->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop101</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop102</value>
    </property>
    <!--开启yarn恢复机制-->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--执行rm恢复机制实现类-->
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <!--配置zookeeper的地址-->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop101:2181,hadoop102:2181,hadoop103:2181</value>
        <description>For multiple zk services, separate them with comma</description>
    </property>
    <!--指定YARN HA的名称-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yarn-ha</value>
    </property>
    <property>
        <!--指定yarn的老大resoucemanager的地址-->
        <name>yarn.resourcemanager.hostname</name>
        <value>imaster</value>
    </property>
    <property>
        <!--NodeManager获取数据的方式-->
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

8、再hadoop-2.9.2创建tmp和journal

[root@hadoop101 hadoop-2.9.2]# mkdir journal
[root@hadoop101 hadoop-2.9.2]# mkdir tmp

9、进入tmp创建namenode和datanode

[root@hadoop101 hadoop-2.9.2]# cd tmp/
[root@hadoop101 tmp]# mkdir namenode datanode

10、修改slaves

[root@hadoop101 hadoop-2.9.2]# cd etc/hadoop/
[root@hadoop101 hadoop]# pwd
/opt/module/hadoop-2.9.2/etc/hadoop
[root@hadoop101 hadoop]# vi slaves

内容如下：

hadoop101
hadoop102
hadoop103

11、环境变量

[root@hadoop101 hadoop-2.9.2]# cd /opt/module/hadoop-2.9.2/etc/hadoop
[root@hadoop101 hadoop-2.9.2]# vi ~/.bash_profile

JAVA_HOME=/opt/module/jdk1.8.0_221
HADOOP_HOME=/opt/module/hadoop-2.9.2
SPARK_HOME=/opt/module/spark-2.4.4-hadoop2.7
HIVE_HOME=/opt/module/apache-hive-2.3.6-bin
export HBASE_HOME=/opt/module/hbase-0.98.17-hadoop2
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$ZK_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$SPARK_HOME/bin
export PATH JAVA_HOME  HIVE_HOME CLASSPATH HADOOP_HOME ZK_HOME SPARK_HOME
ZK_HOME=/opt/module/zookeeper-3.4.7

12、拷贝

[root@hadoop101 hadoop-2.9.2]# scp -r /opt/module/hadoop-2.9.2/ root@hadoop102:/opt/module/
[root@hadoop101 hadoop-2.9.2]# scp -r /opt/module/hadoop-2.9.2/ root@hadoop103:/opt/module/

13、生效，让配置生效----3台

[root@hadoop101 hadoop-2.9.2]# cd etc/hadoop/
[root@hadoop101 hadoop]# source hadoop-env.sh

三、综合

1、再hadoop101中格式化zookeeper

 [root@hadoop101 hadoop]# hdfs zkfc -formatZK

在这里插入图片描述2、启动journalNode集群（三个节点都要输入）

hadoop-daemon.sh start journalnode

3、再hadoop101中启动namenode（第一次启动的时候执行）

hadoop namenode -format

在这里插入图片描述4、在hadoop101上启动namenode(active)

 hadoop-daemon.sh start namenode

5、将hadoop102设置为备用节点，在其上面输入

hdfs namenode -bootstrapStandby

在这里插入图片描述
6、启动hadoop102的namenode（备用），在hadoop102上输入

hadoop-daemon.sh start namenode

7、启动datanode，在hadoop101上

hadoop-daemons.sh start datanode

8、在hadoop101和hadoop102上分别启动zkfc

 hadoop-daemon.sh start zkfc

9、启动yarn，在hadoop101和hadoop102上输入

start-yarn.sh

10、在本地电脑上做映射C:\Windows\System32\drivers\etc
在这里插入图片描述

一休祺
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop完全分布式搭建（下）
QQ1664537320的博客
10-21 250
hadoop完全分布式搭建（下） 接hadoop伪分布式搭建（中） 思路：将已经搭建好环境的ubuntu上的软件分发至其它服务器 开启克隆的两台虚拟机，进行本地配置（参考hadoop环境搭建（上）） 1、设置用户的root权限 2、配置ssh/pdsh 3、生成密钥 4、在rcmd_default添加ssh 5、创建文件夹，并添加权限 6、将jdk/hadoop分发至hadoop2/hadoop3 #修改主机名（每台主机都需要修改，不要弄混了） $ hostname $ sudo vim /etc/host
【Hadoop】HadoopHA高可用完全分布式搭建
Together
10-19 9733
4台节点 节点分布 一、统一配置JDK和Hadoop 在四台节点上配置好JDK以及Hadoop环境变量 二、配置免密钥 我们将node01作为管理脚本的启动节点，需要配置node01节点免密钥登录其他三台节点 1)在node01节点执行以下操作： cd ~/.ssh scp id_dsa.pub node02:`pwd`/node01.pub scp id_dsa.pub...
hadoop完全分布式和高可用搭建
weixin_43799054的博客
03-30 663
hadoop完全分布式 环境配置：centos7 四台 版本：zookeeper-3.4.14 、hadoop-2.7.7（当然你也可以自己选择） 准备 配置防火墙 如果是服务器的话，首先要开启相关的端口。若是虚拟机，记得关闭防火墙 关闭防火墙 systemctl stop firewalld service iptables stop xshell连接虚拟机 小工具：当虚拟机或服务器数量过多时...
2024年最全Hadoop之Ha高可用搭建教程_启动hadoop高可用集群，2024年最新白嫖党最爱
最新发布
2401_84181193的博客
05-14 802
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。
Hadoop高可用（Hadoop2.x）
m0_67402341的博客
09-06 1770
两个单独的计算机配置为NameNode。单个NameNode节点的机器的内存是有限的，随着对HDFS文件系统的操作次数的增多，产生的日志文件(edits.log)和元数据的序列化文件(FsImage)会不断的增大，最终元数据文件会读到内存之中，而内存是有限，这样就会导致HDFS的启动速度变慢，也不利于集群DataNode的扩展。查看NameNode的状态，将active状态的NameNode杀掉，一般会根据启动的顺序决定NameNode的状态，使用kill命令杀掉NameNode进程。
hadoop 完全分布式HA高可用集群（自动切换）搭建
cl2010abc的专栏
06-02 4588
实验环境 namenode1: 192.168.103.4 namenode2: 192.168.103.8 datanode1：192.168.103.15 datanode2: 192.168.103.5 datanode3: 192.168.103.3 操作系统: ubuntu-16.04-x64 hadoop版本: apache-hadoop-2.6.5 jdk版本：1.8 安装步...
Hadoop3.1.1高可用完全分布式环境搭建
csdn_chaoping的博客
02-20 354
学习大数据技术依赖于大数据环境,搭建一个大数据环境是学习大数据很重要的一部分,话不多说,现在我们来搭建一个hadoop3.1.1高可用完全分布式环境 本环境我们用到的软件版本 cetos7,zookeeper-3.4.13.tar.gz,jdk-8u191-linux-x64.tar.gz,hadoop-3.1.1.tar.gz 在linux上安装jdk,配置环境变量 export JAVA_H...
HadoopHA高可用完全分布式搭建
01-07
1.在四台节点上安装JDK以及Hadoop 2.在node02、node03、node04节点上安装Zookeeper 3.节点配置分布如下??? 二、配置JDK、Hadoop、以及Zookeeper环境变量 在四台节点上配置好JDK、Hadoop以及ZookeeperZookeeper环境...
hadoop HA高可用性完全分布式集群安装
11-05
hadoop HA高可用性完全分布式集群安装 内付下载地址和说明文档
这是一个基于hadoop+spark完全分布式平台的薪资水平预测系统.zip
03-13
在这个基于Hadoop和Spark的完全分布式薪资水平预测系统中，我们深入探讨了大数据处理与分析的关键技术，以及如何利用这些技术构建一个高效、可扩展的预测模型。Hadoop和Spark是大数据领域的重要工具，它们各自在...
hadoop完全分布式高可用配置文件
09-01
hadoop完全分布式高可用配置文件,还有spark和zookeeper的配置,后续可以自己更改,很方便的,.......................................................................................................................
hadoop HA（高可用）集群全分布模式安装
qq_56862455的博客
04-06 1181
hadoop HA（高可用）集群全分布模式安装 提示：该配置基于前面章节已经安装好的hadoop全分布式集群、zookeeper组件基础上才能执行本章操作 文章目录hadoop HA（高可用）集群全分布模式安装前言一、删除hadoop分布式集群的文件1、关闭hadoop集群、12.3.1.1 关闭hdfs和yarn2、关闭JobHistory3、检查hadoop集群的各节点关闭情况4、删除hadoop集群二、安装hadoop高可用集群1、上传hadoop安装包到master节点2、在master节点解压
Hadoop大数据平台高可用的实现
qq_41582883的博客
03-28 722
官网：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 创建hadoop用户 useradd -u 1001 hadoop echo westos| passwd --stdin hadoop tar zxf hadoop-3.2.1.tar.gz tar zxf jdk-8u181-linux-x64.tar.gz ln -s jdk1.8.0_181/ java ln
Hadoop系列-Hadoop高可用（三）
Toby的博客
11-21 1667
Hadoop高可用，及其三个主要组件的高可用，共同组成Hadoop生态系统的高可用
搭建Hadoop完全分布式
achu19的博客
07-08 230
NameNode（NN） 基本知识 1.基于内存存储 ：不会和磁盘发生交换 2.只存在内存中 3.持久化 主要功能： 1.接受客户端的读写服务 2.收集DataNode汇报的Block列表信息 3.NameNode保存metadata信息包括文件owership和permissions文件大小，时间 （Block列表：Block偏移量），位置信息，Block每副本位置（由DataNode上报） NameNode持久化 1.NameNode的metadate信息在启动后会加载到内存 2.metadata存储到
hadoop集群中zkfc的作用和工作过程
小爷欣欣
05-03 8279
作用：（1）健康检测：zkfc会周期性的向它监控的namenode（只有namenode才有zkfc进程，并且每个namenode各一个）发生健康探测命令，从而鉴定某个namenode是否处于正常工作状态，如果机器宕机，心跳失败，那么zkfc就会标记它处于不健康的状态；（2）会话管理：如果namenode是健康的，zkfc机会保持在zookeeper中保持一个打开的会话，如果namenode是ac...
Hadoop完全分布式高可用集群搭建
jackyerjunp的专栏
03-14 663
Hadoop完全分布式高可用集群搭建 1、 环境准备 certOS7, JDK1.8, 三台机器分别如下 Hostname IP Nn1 Nn2 Dn Zk Zkfc jnn prd-ecs-3 172.18.48.129 * * * * * prd-ecs-4 172.18.48.130 ...
Hadoop3.3高可用环境搭建 .docx
11-29
为了搭建Hadoop3.3.1的高可用环境，我们需要准备五台虚拟机，并对其进行一系列的规划和配置。 首先，我们使用centos7操作系统来搭建Hadoop3.3.1的高可用环境。对于节点的规划，我们需要至少有两个NameNode（NN）来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值