![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HA
文章平均质量分 70
AdamShyly
努力学习
展开
-
Hadoop HA 配置文件以及自动化Shell脚本开关HA集群
目录配置文件workerscore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml自动化Shell脚本format-hahadoop-hajpsallxcallxsynczk测试自动化脚本HA集群初始化启动HA集群关闭HA集群配置文件workershadoop102hadoop103hadoop104core-site.xml<config...原创 2022-04-25 00:27:49 · 1271 阅读 · 0 评论 -
Hadoop HA 完全分布式集群搭建(ZooKeeper)
学了大半个月hadoop,现在来完整搭建并测试一遍HA集群,本文总共使用了三台CentOS 7.9服务器:hadoop102 hadoop103 hadoop104,hadoop版本为3.2.3,ZK版本为3.5.9,JDK版本为1.8;以下是本次实验所配置的环境变量#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_321export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOMEexport HADOOP_HOME=/o原创 2022-04-25 00:01:43 · 1749 阅读 · 1 评论 -
HA JournalNode的作用
为了保证 Active 节点和 Standby 节点,即可以可靠的保持数据的一致性,又不会影响集群的可用性,HDFS 在 Active 节点和 Standby 节点之间引入了另外一个节点 JournalNode 节点。 JournalNode 节点作为 Active 节点和 Standby 节点的中间节点,它为两个节点解决了数据的同步的问题。首先 Active 节点会将元数据发送给 JournalNode 节点,然后 Standby 节点会从 JournalNode 节点获取需要同步...转载 2022-04-24 03:24:00 · 206 阅读 · 0 评论