从0开始搭建Hadoop2.x高可用集群（HDFS篇）

最新推荐文章于 2022-05-08 22:45:00 发布
最新推荐文章于 2022-05-08 22:45:00 发布
阅读量2.2k 收藏 16
点赞数 1
分类专栏： hadoop 文章标签： Hadoop HA HDFS 集群 高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45355999/article/details/95627924
版权

从0开始搭建Hadoop2.x高可用集群（HDFS篇）

演示目标

搭建双NameNode节点的高可用集群，其中一台节点的状态为Active，另一台是standby。当Active节点发生故障时，standby节点能自动接管并切换到Active状态。

演示环境

软件备注
VMware Workstation15.5
CentOSCentOS-7-x86_64-DVD-1804.iso
JDKjdk-8u211-linux-x64.tar.gz
Hadoophadoop-2.6.5.tar.gz
Zookeeperzookeeper-3.4.14.tar.gz
下载地址若有需要请按需下载上述软件

注意事项

  • 文章中所有shell命令都是以root用户进行操作，所以请优先使用su root命令切换用户；
  • 在输入shell命令前先阅读命令注释，以避免遗漏和错误。
  • 可以使用虚拟机快照功能帮助自己在执行了错误的操作后进行回滚。

准备虚拟机

  • 安装WMware Workstation，并使用CentOS7镜像创建三台虚拟机；
  • 配置好三台虚拟机的网络环境使其之间能够相互Ping通（如何设置?），演示中所用的虚拟机网络信息如下：
HOSTNAMEIP
vm1192.168.0.51
vm2192.168.0.52
vm3192.168.0.53

关闭防火墙

依次使用所有虚拟机执行下列命令

# 关闭防火墙
systemctl stop firewalld
# 禁用开机启动
systemctl disable firewalld
# 编辑selinux文件
# 设置SELINUX值等于disabled
# SELINUX=disabled
vim /etc/sysconfig/selinux

检查系统时间

依次使用所有虚拟机执行下列命令

# 查看时区
timedatectl | grep Time
# 设置时区为上海
timedatectl set-timezone Asia/Shanghai
# 打印出当前系统时间
date
# 如果显示出的时间比当前时间快8小时，则执行下列命令
date -s '-8hour'
hwclock -w

修改host

使用虚拟机vm1执行下列命令

# 修改hostname
hostnamectl set-hostname vm1

使用虚拟机vm2执行下列命令

# 修改hostname
hostnamectl set-hostname vm2

使用虚拟机vm3执行下列命令

# 修改hostname
hostnamectl set-hostname vm3

使用虚拟机vm1执行下列命令

# 追加内容到hosts文件
cat >> /etc/hosts << EOF # 回车
> 192.168.0.51 vm1 # 回车
> 192.168.0.52 vm2 # 回车
> 192.168.0.53 vm3 # 回车
> EOF # 回车
# 将hosts文件拷贝到vm2和vm3
# 拷贝完毕后分别使用所有虚拟机执行ping vm1、ping vm2、ping vm3检查网络是否通畅
scp /etc/hosts root@vm2:/etc/hosts
scp /etc/hosts root@vm3:/etc/hosts

设置免密登录

依次使用所有虚拟机执行下列命令

# 登录本机，该操作用于初始化ssh目录
# 如果出现Are you sure you want to continue connecting (yes/no)?请输入：yes
ssh localhost
# 退出登录
exit
# 进入ssh目录
cd ~/.ssh/
# 生成密钥
# 执行后系统会出现多次提示，依次回车即可
ssh-keygen
# 编辑ssh_config文件
# 将StrictHostKeyChecking的值设置为no
# StrictHostKeyChecking no
vim /etc/ssh/ssh_config

使用虚拟机vm1执行下列命令

# 进入ssh目录
cd ~/.ssh/
# 将vm1公钥文件中的内容追加到到authorized_keys文件
cat id_rsa.pub >> authorized_keys
# 分别将vm2和vm3的id_rsa.pub中的内容也追加到vm1的authorized_keys文件中
# 最终vm1的authorized_keys文件拥有所有虚拟机的公钥，文件类容类似如下所示：
# ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDK4UGWdR1BfeB55eN/5j4f5vG1qzARyZ0IzVbmujdVqeBC3jMJDBU4DiGNH1DlL7M9ga7ocmzIR+/B9u/7f7jQNAejsPNVTo4TUt5f8+f4csH7CSXUVbB8oQrWrpH7hwNIf5RMzCAoEGoDSxm7/AZUM632IRz4ns4GKiJVES871VNDbrtal82mmdVPf84V2YpdgP8FmSbGe3C2UdsS8PzZ3QMb+gMi+jNTKi4UN7dAZxh5v58fBKqyX9sFkvwWCibr2t3MUnHOdAP789i1KTAubWjlthiHhF+CnUn0S0BFTiWfec/hJwYlOo8rOReVdS4ymB/q5kR/5uNFHJUEQrsX root@vm1
# ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCVBoca02VsaihYD52FnkEEP/f/do/iO6ao/l12EFbnHWivYKbja4CMty/c4Uwowo33ylFVahhlEMornJ76tLtxsOMOPcJby6SJdbmx7Aqy1CVccMU7NrMYnRosnnazIq+tUCrGWhXGAmZ3TUSAC7RNrIAtFkzeYpsylWenexPx+/mbARon8gc0Y3KamcYJjAyK1hVQN3VixxjeNw8i4VfEvxEY74JRjYR63QQUGqptKuDQCBn06BgACIJxaLLNcxCyB5Fb72gOgjIWyG/+azItimxRDAEIqdax47HoKjrE+tpKrq0CIswm1q+NfafO5m06NtAydUzfedtLrAmVLUEX root@vm2
# ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDp1yt3cYWY3n8oMCGykr8oX1bGEbHWqNMxe2gOsJoBZCMKkqVyM98iajoG5KsZdNZM91+jqH6nbuse6lcDPOMKZ+rY+DqUSW/2tg3VqByAywNL3SW44gPQyKwdgNucAJtfgZdRaYiIglkEm9GT09zGCbUkd7YReNULeuTVx92CXH5jRBNCSHze9kg3s9eHOvKZ2rfNhIf/xqR2wxGlioBD0Ql3/jEAvGwgl2QTIC4BBrYgya8SIEpmaf0t6dIsDbnnzfcHgaZe/VdiQtT7km7Odx/65E/ECl7xYLZetrJS/cvebc5I+t/IP0OBSOeVHtHLux+o/aWBIN44uFcdwTMX root@vm3
# 将authorized_keys文件拷贝到vm2和vm3
scp ~/.ssh/authorized_keys root@vm2:~/.ssh/
scp ~/.ssh/authorized_keys root@vm3:~/.ssh/
# 使用任意虚拟机检查是否能免密登录
ssh vm1 #[vm2、vm3]
# 登录其他虚拟机后切记退出
exit

卸载OpenJDK

依次使用所有虚拟机执行下列命令

# 查看系统自带的OpenJDK信息
rpm -qa | grep java
# 显示信息类似如下：
tzdata-java-2018c-1.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64
java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64
# 卸载系统自带的OpenJDK（以下每行卸载的软件名称应该以自己机器为主，请先检查）
# 卸载完成后输入java命令，如果提示command not found...则说明卸载成功
yum -y remove java-1.7.0-openjdk-1.7.0.171-2.6.13.2.el7.x86_64 \
java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64 \
java-1.7.0-openjdk-headless-1.7.0.171-2.6.13.2.el7.x86_64 \
java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64

# 如果卸载失败则检查虚拟机外网是否通畅，或者使用rpm命令卸载
rpm -e --nodeps #加上你要卸载的软件名称

安装软件

  • 将下载好的JDK、Hadoop、Zookeeper压缩包拷贝到vm1机器的/opt目录下，可以使用Xftp（官方下载地址）工具进行拷贝；
  • 使用tar -zxvf xxx.tar.gz依次解压三个压缩包。
  • 配置环境变量：

使用虚拟机vm1执行下列命令

# 编辑profile文件
vim /etc/profile
# 在文件内容开头添加以下内容
export JAVA_HOME=/opt/jdk1.8.0_211
export HADOOP_HOME=/opt/hadoop-2.6.5
export ZK_HOME=/opt/zookeeper-3.4.14
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
export PATH=$ZK_HOME/bin:$PATH
# 使环境变量立即生效
# 完成后输入java命令检查是否设置成功
source /etc/profile
# 将解压后的三个软件拷贝到vm2和vm3
scp -rp /opt/jdk1.8.0_211/ root@vm2:/opt/
scp -rp /opt/jdk1.8.0_211/ root@vm3:/opt/
scp -rp /opt/hadoop-2.6.5/ root@vm2:/opt/
scp -rp /opt/hadoop-2.6.5/ root@vm3:/opt/
scp -rp /opt/zookeeper-3.4.14/ root@vm2:/opt/
scp -rp /opt/zookeeper-3.4.14/ root@vm3:/opt/
# 将profile文件拷贝到vm2和vm3
scp /etc/profile root@vm2:/etc/
scp /etc/profile root@vm3:/etc/

使用虚拟机vm2执行下列命令

# 使环境变量立即生效
# 完成后输入java命令检查是否设置成功
source /etc/profile

使用虚拟机vm3执行下列命令

# 使环境变量立即生效
# 完成后输入java命令检查是否设置成功
source /etc/profile

准备HDFS

  • 查看官方文档的方式：
    • 官方在线文档；
    • 在Windows中打开hadoop-xxx.tar.gz压缩包中根目录下的\share\doc\hadoop\index.html可以查看当前版本的离线文档；
  • 节点部署情况 ：
NameNodeDataNodeJournalNodeZookeeper
vm1✔✔✔✔
vm2✔✔✔✔
vm3✔✔✔

配置cote-site.xml

使用虚拟机vm1执行下列命令

# 进入Hadoop配置文件目录
cd /opt/hadoop-2.6.5/etc/hadoop
# 编辑core-site.xml
vim core-site.xml

<!-- core-site.xml文件配置如下 -->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hdfs-cluster</value>
  </property>
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>vm1:2181,vm2:2181,vm3:2181</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop-2.6.5/tmp</value>
  </property>
</configuration>

配置hdfs-site.xml

使用虚拟机vm1执行下列命令

# 进入Hadoop配置文件目录
cd /opt/hadoop-2.6.5/etc/hadoop
# 编辑hdfs-site.xml
vim hdfs-site.xml

<!-- hdfs-site.xml文件配置如下 -->
<configuration>
  <property>
    <name>dfs.nameservices</name>
    <value>hdfs-cluster</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.hdfs-cluster</name>
    <value>nn1,nn2</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.hdfs-cluster.nn1</name>
    <value>vm1:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.hdfs-cluster.nn2</name>
    <value>vm2:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.hdfs-cluster.nn1</name>
    <value>vm1:50070</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.hdfs-cluster.nn2</name>
    <value>vm2:50070</value>
  </property>
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://vm1:8485;vm2:8485;vm3:8485/hdfs-cluster</value>
  </property>
  <property>
    <name>dfs.client.failover.proxy.provider.hdfs-cluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop-2.6.5/data/journalnode</value>
  </property>
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
</configuration>

配置slaves

使用虚拟机vm1执行下列命令

# 进入Hadoop配置文件目录
cd /opt/hadoop-2.6.5/etc/hadoop
# 编辑slaves
vim slaves
# slaves文件配置如下，使用回车换行
vm1
vm2
vm3

配置hadoop-env

使用虚拟机vm1执行下列命令

# 编辑hadoop.env.sh
vim /opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh
# 将export JAVA_HOME=${JAVA_HOME}修改为下列内容
export JAVA_HOME=/opt/jdk1.8.0_211

拷贝配置

使用虚拟机vm1执行下列命令

# 将vm1上配置好的配置文件拷贝到vm2和vm3
scp -rp /opt/hadoop-2.6.5/etc/hadoop root@vm2:/opt/hadoop-2.6.5/etc/
scp -rp /opt/hadoop-2.6.5/etc/hadoop root@vm3:/opt/hadoop-2.6.5/etc/

准备Zookeeper

使用vm1、vm2、vm3搭建Zookeeper集群。

配置zoo.cfg

使用虚拟机vm1执行下列命令

# 进入Zookeeper配置文件目录
cd /opt/zookeeper-3.4.14/conf/
# 编辑zoo.cfg文件
vim zoo.cfg
# 添加以下内容：
tickTime=2000
dataDir=/opt/zookeeper-3.4.14/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=vm1:2888:3888
server.2=vm2:2888:3888
server.3=vm3:2888:3888
# 将zoo.cfg拷贝到vm2和vm3
scp /opt/zookeeper-3.4.14/conf/zoo.cfg root@vm2:/opt/zookeeper-3.4.14/conf/
scp /opt/zookeeper-3.4.14/conf/zoo.cfg root@vm3:/opt/zookeeper-3.4.14/conf/
# 创建目录
mkdir /opt/zookeeper-3.4.14/data -p
# 在$dataDir路径下创建myid文件，文件内容为1
cd /opt/zookeeper-3.4.14/data
echo '1' > myid

使用虚拟机vm2执行下列命令

# 创建目录
mkdir /opt/zookeeper-3.4.14/data -p
# 在$dataDir路径下创建myid文件，文件内容为2
cd /opt/zookeeper-3.4.14/data
echo '2' > myid

使用虚拟机vm3执行下列命令

# 创建目录
mkdir /opt/zookeeper-3.4.14/data -p
# 在$dataDir路径下创建myid文件，文件内容为3
cd /opt/zookeeper-3.4.14/data
echo '3' > myid

启动集群

在启动过程中，如果有问题，应该优先查看日志。

  • 查看日志可以使用tail -f -n 100 /xx/xxx进行查看；
  • Zookeeper日志查看zookeeper.out文件；
  • HDFS日志查看Hadoop根目录下的logs文件夹；

启动Zookeeper集群

依次使用所有虚拟机执行下列命令

# 启动Zookeeper
zkServer.sh start

启动HDFS集群

  • 全面启动HDFS使用start-dfs.sh；
  • 全面停止HDFS使用stop-dfs.sh；
  • 首次启动HDFS集群时，不能直接使用start-dfs.sh，此时需要一些额外操作，主要是为了格式化NameNode。首次启动操作如下：

首次启动

使用虚拟机vm1执行下列命令

# 启动所有JournalNode，注意是hadoop-daemons.sh而不是hadoop-daemon.sh，两者区别在于多了一个s，前者是启动所有节点的jn
hadoop-daemons.sh start journalnode
# 格式化NameNode
hdfs namenode -format
# 启动NameNode
hadoop-daemon.sh start namenode

使用虚拟机vm2执行下列命令

# 拷贝vm1上namenode的格式化数据
hdfs namenode -bootstrapStandby
# 启动NameNode
hadoop-daemon.sh start namenode
# 初始化ZKFC
hdfs zkfc -formatZK
# 停止所有HDFS相关服务
stop-dfs.sh
# 重新启动所有HDFS相关服务
start-dfs.sh

验证高可用（HA）

  • 在Windows中使用浏览器打开两个NameNode的地址：
    • http://192.168.0.51:50070
    • http://192.168.0.52:50070
  • 如图所示，此时vm1虚拟机上的NameNode节点为Active状态：
    验证高可用（1）
    验证高可用（2）
  • 杀死状态为Active的NameNode，此时是vm1上的NameNode。

使用虚拟机vm1执行下列命令

# 查看Namenode的pid
jps
# 显示结果如下
17779 DFSZKFailoverController
17335 NameNode
15144 QuorumPeerMain
17609 JournalNode
18089 Jps
17439 DataNode
# 杀掉NameNode
kill -9 17335
  • 刷新http://192.168.0.52:50070，检查状态是否从standby转为Active。
  • 如果以上步骤都没问题，则HDFS高可用集群搭建完毕，如果存在问题，请检查以下几点：
    • 检查Zookeeper和Hadoop的配置文件是否正确配置、日志是否有错误输出；
    • 检查jps命令显示的服务数是否正确；
    • 检查是否正确的完成了首次启动中的操作说明。
NickZxing
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop HA高可用集群搭建（2.7.2）
光于前裕于后的博客
03-24 1万+
1.集群规划： 2.前期准备： 3.搭建zookeeper集群（drguo3/drguo4/drguo5）
hadoop高可用集群搭建
浅抒流年的博客
08-20 7784
主机配置环境如下表 主机名 IP 系统 软件版本 安装目录 数据目录 hadoop-01 192.168.10.51 Centos 7.6 hadoop-2.7.7、jdk1.8、zookeeper-3.4.6 /usr/local/hadoop /data/hadoop hadoop-02 192.168.10.52 Centos 7.6 hadoop-2.7.7、jdk1....
从0开始搭建Hadoop2.x高可用集群（YARN篇）
NickZxing
07-19 835
从0开始搭建Hadoop2.x高可用集群（YARN篇）演示目标演示环境准备YARN配置yarn-site.xml配置mapred-site.xml拷贝配置启动YARN集群验证高可用（HA） 演示目标 搭建双ResourceManager节点的高可用集群。当主节点发生故障时，standby节点能自动接管并切换为主节点。在开始之前，请确保HDFS环境已搭建完毕，可参考从0开始搭建Hadoop2.x高可...
HaDoop 2.X版本 搭建高可用集群
weixin_44339867的博客
10-20 338
前边两篇博客记录了使用 hadoop 1.x的方式搭建伪分布式和全分布式，但是，搭建的集群并不是高可用的，这里记录一下如何使用2.x方式搭建高可用的集群。 1、前期准备 与搭建全分布一样的前期准备，为一的区别是要准备一主一备两台nameNode服务器，其他的时间、防火墙、域名映射、hostname、免密钥等与全分布式一样。 2、两个 nameNode节点免密钥 假如主的节点是node08，备的节点...
从零开始搭建Hadoop集群(一)：单机的Hadoop安装
u010152318的博客
03-06 464
最详细的教程以及相关概念讲解请看http://www.aboutyun.com/forum.php?mod=viewthread&amp;tid=6780目标：傻瓜式创建三个虚拟机分别为master，slave1，slave2，并安装Hadoop，建立集群准备工作：了解Hadoop相关概念了解Linux相关操作下载ubuntu桌面版ubuntu-16.04.3-desktop-i386.iso（3...
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
Hadoop2.x HA环境搭建
12-09
- 在搭建Hadoop2.x HA集群之前，需要确保所有相关的服务都已经停止运行，避免与新搭建的集群产生冲突。 2. **操作系统上的免密钥登录设置：** - 需要在node1、node2、node3、node4之间实现SSH免密钥登录，即通过...
hadoop2.x集群搭建(1.0).txt
07-03
### Hadoop 2.x 集群搭建详细指南 #### 一、概述 Hadoop 2.x 是一个基于分布式计算框架的重要版本，它在Hadoop 1.x的基础上进行了大幅度的改进，引入了HDFS High Availability (HA) 和 YARN (Yet Another Resource...
Hadoop2.X集群安装与配置
07-24
以上就是Hadoop 2.x集群的安装与配置过程，这是一个基础的大数据环境搭建，后续可以根据需要添加更多节点，或者集成其他大数据组件，如Hive、Spark等，构建更复杂的数据处理平台。在实际生产环境中，还需要考虑高...
hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx
05-11
在搭建Hadoop 2.5.2环境的过程中，我们需要经历几个关键步骤，包括本地模式、伪分布式集群和分布式集群的设置，以及HDFS系统的高可用性配置。首先，确保你的系统已经安装了JDK 1.8，因为Hive等组件需要1.7以上的版本...
Hadoop高可用集群搭建
m0_50744317的博客
05-08 3974
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
搭建Hadoop高可用集群
m0_52474839的博客
01-02 889
Hadoop数据分析项目“环境搭建”环境要求搭建步骤打开vmvare，将一个主节点虚拟机，克隆两台从节点虚拟机点击Slave**下载hadoop，jdk等**将hadoop改名****更改环境配置****Master节点配置Hadoop信息**修改core-site.xml修改hdfs-site.xml修改文件mapred-site.xml修改文件 yarn-site.xmlMaster主节点执行****Slave从节点执行如下命令**接着修改从节点环境变量可能有同学看了好多教程，好多优秀的没有配置从节点的
搭建hadoop高可用集群
LXMin_的博客
11-05 954
1.上传文件：hadoop.tar.gz [root@node01 ~]# tar -zxvf hadoop.tar.gz [root@node01 ~]# mv hadoop /opt/bdp/ [root@node01 ~]# cd /opt/bdp/hadoop/etc/hadoop/ 2.修改集群环境:[root@node01 hadoop]# vim hadoop-env.sh ##直接在文件的最后添加 export ...
Hadoop高可用集群的搭建
water drop的博客
01-03 406
Hadoop高可用集群搭建 搭建高可用集群，需要涉及到 8 个配置文件 1.zookepper 节点的 zkdata文件目录下的 myid 2.zookepper 节点的zkdata文件目录下的zoo.cfg 3.hadoop安装目录下的etc/hadoop/ 目录下的 hadoop-env.sh 4.hadoop安装目录下的etc/hadoop/ 目录下的 core-site.xml 5.had...
Hadoop HA高可用集群搭建
抱愚守拙，持之以恒；不问结果，相信过程.
09-15 1129
之前我们搭建了hdfs集群环境，但是这个存在单点问题和内存限制，并不是高可用的，这一节我们就来搭建高可用HDFS集群。 亲自试验过可以做到单点故障切换！ HDFS2.x HA 解决HDFS1.0中单点故障和内存受限问题： 随着数据越来越多，NameNode的内存使用会暴增而受限，且一个集群中只有一个NameNode，一旦宕机则集群不可用。   解决NameNode单点故障：     ...
搭建hadoop的高可用性（HA）集群
学习笔记
04-21 901
本文为传智播客八天——第五天学习笔记 因为电脑配置问题，只能同时运行三台虚拟机。三台是hadoop高可用性集群的最小数目。不能再少了。 前期准备： 1、修改linux主机名和IP 2、修改主机名和IP的映射关系 3、关闭防火墙 4、ssh免登录 5、安装JDK，配置环境变量 集群规划： 主机名                             IP
Hadoop 3.x高可用HA集群安装指南
在搭建Hadoop高可用(HA)集群时，确保数据的可靠性和服务的不间断是至关重要的。在这个3.x以上的版本中，我们将重点讨论如何设置HA环境，并安装相关组件。 1. **网络配置**： - IP地址：集群中的每个节点都需要一个...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值