各个服务版本(该系列搭建版本)
Service | Version | Download Link |
---|---|---|
scala | 2.11.12 | - |
java | 1.8.0_181 | - |
zookeeper | 3.4.11 | http://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/ |
hadoop | 2.7.3 | http://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/ |
hive | 2.3.2 | http://archive.apache.org/dist/hive/ |
spark | spark-2.2.0-bin-hadoop2.7 | http://archive.apache.org/dist/spark/spark-2.2.0/ |
mysql | mysql-5.6.43-linux-glibc2.12-x86_64 | - |
linux | CentOS Linux release 7.7.1908 (Core) | - |
linux系统环境准备
由于我这里搭建的是单机版的测试集群,所有只准备了一台虚拟机,后边会在写关于多台节点的文章,从易到难,大家一起学习交流,文章我也尽可能的写的更详细一些,从0到1的整个流程。整个单机搭建的流程我使用的用户都是root用户,应为是自己测试使用,没有把用户分的太细,后边在搭建集群模式的时候我们在通过每个服务指定每个用户的形式进行搭建。
- 使用VMware在Windows系统虚拟出一个linux服务器作为我们的大数据standalone节点,配置好网络和主机名,需要禁用和关闭linux系统的selinux和防火墙
更改hostname:在/etc/hostname
关闭selinux: 可以先通过sestatus
命令查看当前服务器selinux的状态,如果是disabled
,就不需要我们手动更改,如果不是,需要我们更改/etc/selinux/config
文件SELINUX=disabled
,需要重启服务器生效。
关闭防火墙:CentOS7命令systemctl stop firewalld
,关闭开机自启systemctl disable firewalld.service
配置java、scala环境变量
tar -zxvf jdk1.8.0_181-amd64.tar.gz
unzip scala-2.11.12.zip
#如果无法使用unzip,使用yum安装
yum -y install unzip
#解压完成
#在/etc/profile(系统环境变量)或者~/.bashrc(当前用户的环境变量)添加以下内容
echo "
export JAVA_HOME=/opt/soft/jdk1.8.0_181-amd64
export PATH=$PATH:$JAVA_HOME/bin
export SCALA_HOME=/opt/soft/scala-2.11.12
export PATH=$PATH:$SCALA_HOME/bin
" >> ~/.bashrc
#生效环境变量
source ~/.bashrc
#查看java及scala是否配置正确
java -version
# java version "1.8.0_181"
# Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
# Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)
scala -version
# Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL
- 这里我虚拟机的配置是
core | 8核
mem | 8G
两块磁盘 : 20G(系统盘) + 50G(其他磁盘),系统盘后边如果不够用了可以使用lvm进行扩展 - 下载好hadoop相关的tar包,使用tar包进行安装
我一般都是从这个网站上直接找相对应的版本链接:
Apache Soft:http://archive.apache.org/dist/ - 将下载好的包上传搭配linux服务器,进行解压(我的个人习惯会创建一个
/opt/soft
目录,) - 解压
tar -zxvf zookeeper-3.4.11.tar.gz -C /opt/soft/zookeeper
到你自己想要解压的目录 - 解压完成后,就可以开始进行配置了
Zookeeper配置
我们需要在 zookeeper的conf目录下进行对zookeeper的配置,配置步骤如下
cd /opt/soft
cd ./zookeeper/conf
##会产生三个文件
zoo_sample.cfg
log4j.properties
configuration.xsl
如果没有其他特殊需求的话,我们只需要对zoo_sample.cfg
进行更改和配置
#将文件复制一份,更改名称为zoo.cfg
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
#配置zookeeper数据目录,数据目录我们需要先进行创建
#将dataDir设置为 /data1/zookeeper
#配置zookeeper端口 默认clientPort=2181
mkdir -p /data1/zookeeper
更改后的zoo.cfg文件
执行./zookeeper/bin/zkServer.sh start
启动zookeeper,zookeeper的日志默认是在执行./zookeeper/bin/zkServer.sh start
命令的目录,我们可以对zookeeper的日志目录进行更改。
zookeeper日志目录配置
编辑zookeeper/bin目录下的zkEnv.sh
直接指定日志目录
# 创建zookeeper日志目录
mkdir -p /var/log/zookeeper
# 再将zookeeper添加环境变量中
echo "
export ZOOKEEPER_HOME=/opt/soft/zookeeper-3.4.11
export PATH=$PATH:$ZOOKEEPER_HOME/bin
" >> ~/.bashrc
source ~/.bashrc
#执行zkServer.sh验证
zkServer.sh start
zkServer.sh status
至此zookeeper安装完成
TODO:HADOO其他服务搭建
文章中如果有不对的地方,欢迎大家在评论区留言指正,有什么自己的技术分享也可以再评论区交流 😃 😃