系列文章:
第一章 Hadoop集群搭建的准备
第二章 Hadoop集群搭建
第三章 Zookeeper分布式集群部署(2n+1台虚拟机)
第四章 Hadoop高可用集群搭建(HA)
第五章 Hive的安装与配置
待更新
第九章 spark独立模式部署(Standalone)
第十章 spark配置历史服务
第十一章 搭建Spark高可用(HA)
第十二章 spark配置Yarn模式(混合部署模式)
待更新
博客推荐系统(适合初学者的javaweb+hadoop结课设计)
毕业设计 博客分享平台的设计与实现(博客推荐系统升级版、大数据组件、可视化大屏、文章查重)
文章目录
一、下载安装包
清华镜像下载连接:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
二、上传安装包,并解压至/export/servers目录下
进入/export/sofware/目录,用rz命令上传zookeeper安装包至虚拟机的/export/sofware/目录下。
安装包解压至/export/servers目录下:
tar -zxvf zookeeper-3.4.10 -C /export/servers
三、修改配置文件
先进入zookeeper的conf目录,执行以下操作。
mv zoo_sample.cfg zoo.cfg
添加以下内容:
#设置数据文件目录和数据持久化路径
dataDir=/export/data/zookeeper/zkdata
#设置zookeeper集群的服务器编号以及对应的主机名、选举端口号和通信端口号(心跳端口)
server.1=hadoop01:2888:3888
server.2=hadoop02:2888:3888
server.3=hadoop03:2888:3888
创建目录:
mkdir -p /export/data/zookeeper/zkdata
在zkdata目录下创建myid文件,用于存放当前虚拟机的编号(hadoop01是1,hadoop02是2,hadoop03是3),以node1为例,命令如下:
echo 1 > /export/data/zookeeper/zkdata/myid
四、配置环境变量
修改/etc/profile:
vim /etc/profile
添加如下内容:
export ZK_HOME=/export/servers/zookeeper-3.4.10
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZK_HOME/bin
五、将zookeeper相关文件和修改后的/etc/profile文件分发到其他虚拟机。
scp -r /export/servers/zookeeper-3.4.10 hadoop02:/export/servers
scp -r /export/servers/zookeeper-3.4.10 hadoop03:/export/servers
#将myid文件分发到其他虚拟机,并将另外台虚拟机的myid文件内容分别改成对应的编号(2和3)
scp -r /export/data/zookeeper hadoop03:/export/data
scp -r /export/data/zookeeper hadoop03:/export/data
#环境变量文件分发到其他虚拟机
scp -r /etc/profile hadoop02:/etc/profile
scp -r /etc/profile hadoop03:/etc/profile
将三台虚拟机的环境变量生效,均执行以下命令:
source /etc/profile
六、zookeeper服务的启动与关闭
启动服务前关闭三台虚拟机的防火墙,使三台虚拟机能够通讯。否则服务无法启动成功。虚拟机(文章以CentOS为例)均执行以下命令:
service iptables stop
先进入zookeeper的bin目录。
启动:每台虚拟机均执行以下命令
./zkServer.sh start
关闭:每台虚拟机均执行以下命令
./zkServer.sh stop