疯狂Hadoop之高可用集群搭建（二）_zookeeper 存储hadoop ha 的路径(1)

学习路线：

这个方向初期比较容易入门一些，掌握一些基本技术，拿起各种现成的工具就可以开黑了。不过，要想从脚本小子变成黑客大神，这个方向越往后，需要学习和掌握的东西就会越来越多以下是网络渗透需要学习的内容：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

dfs.nameservices
mycluster

dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 node01:8020 dfs.namenode.rpc-address.mycluster.nn2 node02:8020 dfs.namenode.http-address.mycluster.nn1 node01:9870 dfs.namenode.http-address.mycluster.nn2 node02:9870 dfs.namenode.shared.edits.dir qjournal://node01:8485;node02:8485;node03:8485/mycluster dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.journalnode.edits.dir /hadoopdata/ha/journal dfs.ha.automatic-failover.enabled true ```

配置core-site.xml文件

修改hadoop.tmp.dir的路劲，以免与完全分布式路径起冲突

<!--注意更改下 hadoop.tmp.dir 的路径，与node的名称【类似一个域名多ip】-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hdata/ha</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
</property>

配置workers文件

workers文件，里面写上从节点所在的主机名

编辑命令：vi workers

在文件中编写如下内容

node02

node03

node04

文件分发

使用scp命令下发hadoop-3.2.1到node02、node03、node04上

文件分发命令如下：

scp -r hadoop-3.2.1 root@node02:/root

scp -r hadoop-3.2.1 root@node03:/root

scp -r hadoop-3.2.1 root@node04:/root

配置hadoop3环境变量

编辑文件命令：vi /etc/profile

在文件中添加如下红色部分内容

export JAVA_HOME=/usr/java/jdk1.8.0_60

export HADOOP_HOME=/root/hadoop-3.2.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP\_HOME/bin:$HADOOP_HOME/sbin

/etc/profile文件分发

scp /etc/profile node02:/etc/

scp /etc/profile node03:/etc/

scp /etc/profile node04:/etc/

node02、node03、node4重新加载 /etc/profile文件

source /etc/profile

Zookeeper集群搭建

zookeeper安装在node02、node03、node04三台虚拟机上

将zookeeper-3.4.6.tar.gz安装包上传到node02上

解压安装包

命令：tar -zxvf zookeeper-3.4.6.tar.gz

配置zookeeper环境

编辑文件命令：vi /etc/profile

添加如下红色部分命令

export ZOOKEEPER_HOME=/root/zookeeper-3.4.6

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP\_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

配置zookeeper文件

进入zookeeper配置文件所在目录

进入文件命令：cd zookeeper-3.4.6/conf/

修改命令：mv zoo_sample.cfg zoo.cfg

编辑zoo.cfg文件

编辑命令：vi zoo.cfg

1. 修改zookeeper文件存储路径
2. 标注zookeeper服务对应的虚拟机以及端口号

文件分发

分发zookeeper到node03、node04上

文件分发命令

scp -r zookeeper-3.4.6 root@node03:/root

scp -r zookeeper-3.4.6 root@node04:/root

分发/etc/profile文件

scp /etc/profile node03:/etc/

scp /etc/profile node04:/etc/

重新加载

source /etc/profile

启动zookeeper集群

在node02、node03、node04上创建zookeeper文件存储路径文件夹/opt/zookeeper

命令：cd /opt/

mkdir zookeeper

由于node02的server编号为1，node03的server编号为2，node04的server编号为3。所以需要在zookeeper目录下新建一个myid文件，然后在改文件中标明序号

命令：echo 1 > /opt/zookeeper/myid

运行zookeeper

命令： zkServer.sh start

查看运行状态

命令： zkServer.sh status

停止zookeeper命令:zkServer.sh stop

HDFS-HA集群启动

本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。

最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。

最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！下面就开始进入正题，如何从一个萌新一步一步进入网络安全行业。

学习路线图

其中最为瞩目也是最为基础的就是网络安全学习路线图，这里我给大家分享一份打磨了3个月，已经更新到4.0版本的网络安全学习路线图。

相比起繁琐的文字，还是生动的视频教程更加适合零基础的同学们学习，这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。

网络安全工具箱

当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份我自己整理的网络安全入门工具以及使用教程和实战。

项目实战

最后就是项目实战，这里带来的是SRC资料&HW资料，毕竟实战是检验真理的唯一标准嘛~

面试题

归根结底，我们的最终目的都是为了就业，所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！