大数据学习之Zookeeper基础环境搭建(单机版)

各个服务版本(该系列搭建版本)

ServiceVersionDownload Link
scala2.11.12-
java1.8.0_181-
zookeeper3.4.11http://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/
hadoop2.7.3http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/
hive2.3.2http://archive.apache.org/dist/hive/
sparkspark-2.2.0-bin-hadoop2.7http://archive.apache.org/dist/spark/spark-2.2.0/
mysqlmysql-5.6.43-linux-glibc2.12-x86_64-
linuxCentOS Linux release 7.7.1908 (Core)-

linux系统环境准备

    由于我这里搭建的是单机版的测试集群,所有只准备了一台虚拟机,后边会在写关于多台节点的文章,从易到难,大家一起学习交流,文章我也尽可能的写的更详细一些,从0到1的整个流程。整个单机搭建的流程我使用的用户都是root用户,应为是自己测试使用,没有把用户分的太细,后边在搭建集群模式的时候我们在通过每个服务指定每个用户的形式进行搭建。

  1. 使用VMware在Windows系统虚拟出一个linux服务器作为我们的大数据standalone节点,配置好网络和主机名,需要禁用和关闭linux系统的selinux和防火墙
    更改hostname:在/etc/hostname
    关闭selinux: 可以先通过sestatus命令查看当前服务器selinux的状态,如果是disabled,就不需要我们手动更改,如果不是,需要我们更改/etc/selinux/config文件SELINUX=disabled,需要重启服务器生效。
    关闭防火墙:CentOS7命令systemctl stop firewalld,关闭开机自启systemctl disable firewalld.service
    配置java、scala环境变量
tar -zxvf jdk1.8.0_181-amd64.tar.gz
unzip scala-2.11.12.zip

#如果无法使用unzip,使用yum安装
yum -y install unzip
#解压完成
#在/etc/profile(系统环境变量)或者~/.bashrc(当前用户的环境变量)添加以下内容
echo "
export JAVA_HOME=/opt/soft/jdk1.8.0_181-amd64
export PATH=$PATH:$JAVA_HOME/bin

export SCALA_HOME=/opt/soft/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin
" >> ~/.bashrc
#生效环境变量
source ~/.bashrc
#查看java及scala是否配置正确
java -version
# java version "1.8.0_181"
# Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
# Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)
scala -version
# Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
  1. 这里我虚拟机的配置是
    core | 8核
    mem | 8G
    两块磁盘 : 20G(系统盘) + 50G(其他磁盘),系统盘后边如果不够用了可以使用lvm进行扩展
  2. 下载好hadoop相关的tar包,使用tar包进行安装
    我一般都是从这个网站上直接找相对应的版本链接:
    Apache Soft:http://archive.apache.org/dist/
  3. 将下载好的包上传搭配linux服务器,进行解压(我的个人习惯会创建一个/opt/soft目录,)
  4. 解压tar -zxvf zookeeper-3.4.11.tar.gz -C /opt/soft/zookeeper到你自己想要解压的目录
  5. 解压完成后,就可以开始进行配置了

Zookeeper配置

我们需要在 zookeeper的conf目录下进行对zookeeper的配置,配置步骤如下

cd /opt/soft
cd ./zookeeper/conf
##会产生三个文件
zoo_sample.cfg
log4j.properties
configuration.xsl

如果没有其他特殊需求的话,我们只需要对zoo_sample.cfg进行更改和配置

#将文件复制一份,更改名称为zoo.cfg
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
#配置zookeeper数据目录,数据目录我们需要先进行创建 
#将dataDir设置为  /data1/zookeeper
#配置zookeeper端口 默认clientPort=2181
mkdir -p /data1/zookeeper

更改后的zoo.cfg文件
zoo.cfg
执行./zookeeper/bin/zkServer.sh start启动zookeeper,zookeeper的日志默认是在执行./zookeeper/bin/zkServer.sh start命令的目录,我们可以对zookeeper的日志目录进行更改。

zookeeper日志目录配置

编辑zookeeper/bin目录下的zkEnv.sh直接指定日志目录
在这里插入图片描述

# 创建zookeeper日志目录
mkdir -p /var/log/zookeeper
# 再将zookeeper添加环境变量中
echo "
export ZOOKEEPER_HOME=/opt/soft/zookeeper-3.4.11
export PATH=$PATH:$ZOOKEEPER_HOME/bin
" >> ~/.bashrc
source ~/.bashrc
#执行zkServer.sh验证
zkServer.sh start
zkServer.sh status

至此zookeeper安装完成

TODO:HADOO其他服务搭建

文章中如果有不对的地方,欢迎大家在评论区留言指正,有什么自己的技术分享也可以再评论区交流 😃 😃

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值