存放应用安装包的目录/export/software/
存放应用的目录/export/servers/
1、配置LINUX系统网络及主机名
虚拟机默认为动态地址,系统重启后IP地址会发生改变,不利于实际开发
一、修改主机名(主机名一致会造成通信混肴,同一主机名会指向不同的虚拟机)
修改主机名命令:
hostnamectl set-hostname 修改的名字
‘’‘例如:将主机名node01更改为node02
hostnamectl set-hostname node02
'''
二、
配置Linux系统网络
1.在虚拟机的操作窗口执行编辑网卡文件的命令
(1)打开网卡配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
(2)修改网络配置
将BOOTPROTO的值由dhcp(动态路由协议)修改为static(静态路由协议)
将IPADDR(IP地址)修改为192.168.121.131
将GATEWAY(网关)修改为192.168.121.2
将DNETMASK(子网掩码)修改为255.255.255.0
将DNS1(域名解析器)修改为8.8.8.8
(UUID作用使分布式系统中的所有元素都有唯一的标识码)
sed -i '/UUID=/c\'`uuidgen`" /etc/sysconfig/network-scripts/ifcfg-eno16777736
sed -i "/UUID/c UUID=$(uuidgen)" /etc/sysconfig/network-scripts/ifcfg-ens33
执行sed命令将uuidgen工具生成新的UUID值替换网卡配置文件中默认的UUID
(3)重启虚拟机和网卡,查看网络信息
重启虚拟机
reboot
重启虚拟机网卡
service network restart
查看网络信息
ip addr
ifconfig
三、ssh服务配置
配置ssh可以实现远程登陆和免密登陆
(1)查看是否安装OpenSSH
rpm -qa |grep openssh
(2)查看是否开启OpenSSH
service sshd stat
(3)生成密钥
ssh-keygen -t rsa
(4)查看密钥
cd /root/.ssh ll -a
(5)配置影视文件host
为了便于文件配置和虚拟机通信
vi /etc/hosts
在hosts里输入配置虚拟机自身与其他虚拟机的IP地址和主机名
例如
(5)拷贝公钥(包括自身)
ssh-copy-id node01
(6)验证免密钥登陆
ssh 主机名
ssh node02
JDK部署
一、JDK 的部署
访问Oracle官网下载Linux x64操作系统的JDK安装包 jdk-8u161-linux-x64.tar.gz。
使用 “rz” 命令 将JDK安装包上传到虚拟机上
rz 命令的安装下载yum install lrzsz
tar 命令下载安装
yum install -y tar
查看版本
tar --version
JDK环境变量配置export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
JDK环境验证
java -version 查看JDK版本
分发JDK安装目录相关文件至虚拟机Node_02
scp -r /export/servers/jdk/ root@node02:/export/servers/
#将export下的servers里的jdk分发到node02里的/export/servers/
分发系统环境变量文件至虚拟机Node_02
scp /etc/profile root@node02:/etc/profile
将/etc/profile分发到node02里的/etc/profile
ZooKeeper的部署
ZooKeeper是一个分布式应用程序协调服务。一个ZooKeeper集群可以存在多个Follower和Observer服务器,但只允许存在一台Leader服务器。如果Leader服务器宕机,那么ZooKeeper集群的其它服务器会投票选举出一个新的Leader服务器,为防止投票数不过半,从而无法选举出新的Leader服务器现象,通常将ZooKeeper集群中服务器的数量规划为2n+1台,即奇数个。
一 、配置zookeeper
(1)下载
访问Apache资源网站下载Linux操作系统的ZooKeeper安装包zookeeper-3.4.10.tar.gz
(2)上传
使用rz 上传到/export/software/
(3)解压缩
将ZooKeeper安装到存放应用的目录/export/servers/
tar -zxvf /export/software/zookeeper-3.4.10.tar.gz -C /export/servers/
(4)配置zookeeper
进入ZooKeeper安装目录下的conf目录,复制ZooKeeper的配置文件模板“zoo_sample.cfg”并命名为“zoo.cfg”
cp zoo_sample.cfg zoo.cfg
a. 修改zookeeper配置文件
进入ZooKeeper安装目录下的conf目录,执行“vi zoo.cfg”命令编辑ZooKeeper配置文件zoo.cfg,修改参数“dataDir”配置存储快照文件的目录,添加参数“server.x”指定ZooKeeper集群包含的服务器。
dataDir=/export/data/zookeeper/zkdata server.1=node01:2888:3888 server.2=mode02:2888:3888 server.3=node03:2888:3888
b.创建存储快照文件的目录
mkdir -p /export/data/zookeeper/zkdata
c.创建myid文件
在虚拟机Node_01、Node_02和Node_03 的/export/data/zookeeper/zkdata目录中创建myid文件,在虚拟机Node_01的myid文件中写入值1,在虚拟机Node_02的myid文件中写入值2,在虚拟机Node_03的myid文件中写入值3。
vi myid
echo 1 > myid echo 2 > myid echo 3 > myid
(5)编辑文件profile
执行“vi /etc/profile”命令编辑系统环境变量文件profile,配置ZooKeeper环境变量。
export ZK_HOME=/export/servers/zookeeper-3.4.10 export PATH=$PATH:$ZK_HOME/bin
(6)分发配置文件
将虚拟机中的ZooKeeper安装目录和系统环境变量文件分发到其他的虚拟机
scp -r /export/servers/zookeeper-3.4.10/ node02:/export/servers/
scp /etc/profile root@node02:/etc/
完成分发操作,分别在分发的虚拟机中执行“source /etc/profile”命令初始化系统环境变量。
source /etc/profile
二、ZooKeeper集群的启动与关闭
1、启动ZooKeeper集群
分别在虚拟机中执行“zkServer.sh start”命令启动ZooKeeper服务
zkServer.sh start
2、查看ZooKeeper服务状态
分别在虚拟机中执行“zkServer.sh status”命令查看ZooKeeper服务状态
zkServer.sh status
3.关闭ZooKeeper集群
在虚拟机中分别执行“zkServer.sh stop”命令即可关闭当前虚拟机的Zookeeper服务
zkServer.sh stop
Hive部署
1、嵌入模式下的Hive不支持多会话连接,不适合生产环境,只适合测试环境
2、本地模式部署的Hive支持元数据共享,并且支持多会话连接
3、远程模式与本地模式一样,同样是使用独立数据库存储元数据。不同的是,远程模式使用的是远端的独立数据库,而本地模式使用的是本地独立数据库。远程模式主要应用于Hive客户端较多的情况