AdamShyly的博客

目录配置文件workerscore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml自动化Shell脚本format-hahadoop-hajpsallxcallxsynczk测试自动化脚本HA集群初始化启动HA集群关闭HA集群配置文件workershadoop102hadoop103hadoop104core-site.xml<config...

学了大半个月hadoop，现在来完整搭建并测试一遍HA集群，本文总共使用了三台CentOS 7.9服务器：hadoop102 hadoop103 hadoop104，hadoop版本为3.2.3，ZK版本为3.5.9，JDK版本为1.8；以下是本次实验所配置的环境变量#JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0_321export PATH=$PATH:$JAVA_HOME/bin#HADOOP_HOMEexport HADOOP_HOME=/o

为了保证 Active 节点和 Standby 节点，即可以可靠的保持数据的一致性，又不会影响集群的可用性，HDFS 在 Active 节点和 Standby 节点之间引入了另外一个节点 JournalNode 节点。 JournalNode 节点作为 Active 节点和 Standby 节点的中间节点，它为两个节点解决了数据的同步的问题。首先 Active 节点会将元数据发送给 JournalNode 节点，然后 Standby 节点会从 JournalNode 节点获取需要同步...