疯狂Hadoop之高可用集群搭建（二）_zookeeper 存储hadoop ha 的路径

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）

正文

dfs.namenode.rpc-address.mycluster.nn1 node01:8020 dfs.namenode.rpc-address.mycluster.nn2 node02:8020 dfs.namenode.http-address.mycluster.nn1 node01:9870 dfs.namenode.http-address.mycluster.nn2 node02:9870 dfs.namenode.shared.edits.dir qjournal://node01:8485;node02:8485;node03:8485/mycluster dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.journalnode.edits.dir /hadoopdata/ha/journal dfs.ha.automatic-failover.enabled true ```

配置core-site.xml文件

修改hadoop.tmp.dir的路劲，以免与完全分布式路径起冲突

<!--注意更改下 hadoop.tmp.dir 的路径，与node的名称【类似一个域名多ip】-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hdata/ha</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

配置workers文件

workers文件，里面写上从节点所在的主机名

编辑命令：vi workers

在文件中编写如下内容

node02

node03

node04

文件分发

使用scp命令下发hadoop-3.2.1到node02、node03、node04上

文件分发命令如下：

scp -r hadoop-3.2.1 root@node02:/root

scp -r hadoop-3.2.1 root@node03:/root

scp -r hadoop-3.2.1 root@node04:/root

配置hadoop3环境变量

编辑文件命令：vi /etc/profile

在文件中添加如下红色部分内容

export JAVA_HOME=/usr/java/jdk1.8.0_60

export HADOOP_HOME=/root/hadoop-3.2.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP\_HOME/bin:$HADOOP_HOME/sbin

/etc/profile文件分发

scp /etc/profile node02:/etc/

scp /etc/profile node03:/etc/

scp /etc/profile node04:/etc/

node02、node03、node4重新加载 /etc/profile文件

source /etc/profile

Zookeeper集群搭建

zookeeper安装在node02、node03、node04三台虚拟机上

将zookeeper-3.4.6.tar.gz安装包上传到node02上

解压安装包

命令：tar -zxvf zookeeper-3.4.6.tar.gz

配置zookeeper环境

编辑文件命令：vi /etc/profile

添加如下红色部分命令

export ZOOKEEPER_HOME=/root/zookeeper-3.4.6

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP\_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

配置zookeeper文件

进入zookeeper配置文件所在目录

进入文件命令：cd zookeeper-3.4.6/conf/

修改命令：mv zoo_sample.cfg zoo.cfg

编辑zoo.cfg文件

编辑命令：vi zoo.cfg

1. 修改zookeeper文件存储路径
2. 标注zookeeper服务对应的虚拟机以及端口号

文件分发

分发zookeeper到node03、node04上

文件分发命令

scp -r zookeeper-3.4.6 root@node03:/root

scp -r zookeeper-3.4.6 root@node04:/root

分发/etc/profile文件

scp /etc/profile node03:/etc/

scp /etc/profile node04:/etc/

重新加载

source /etc/profile

启动zookeeper集群

在node02、node03、node04上创建zookeeper文件存储路径文件夹/opt/zookeeper

命令：cd /opt/

mkdir zookeeper

由于node02的server编号为1，node03的server编号为2，node04的server编号为3。所以需要在zookeeper目录下新建一个myid文件，然后在改文件中标明序号

命令：echo 1 > /opt/zookeeper/myid

运行zookeeper

命令： zkServer.sh start

查看运行状态

命令： zkServer.sh status

停止zookeeper命令:zkServer.sh stop

HDFS-HA集群启动

1、namenode同步穿透

在node01、node02、node03上启动journalnode

命令：hdfs --daemon start journalnode

给大家的福利

零基础入门

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

同时每个成长路线对应的板块都有配套的视频提供：

因篇幅有限，仅展示部分资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

log.csdnimg.cn/direct/a91b9e8100834e9291cfcf1695d8cd42.png#pic_center)

因篇幅有限，仅展示部分资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）
[外链图片转存中…(img-YnWdz1z3-1713626868505)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！