四、Linux环境下JDK安装、Hadoop、Zookeeper和HBase集群部署

小白微秃

已于 2024-04-14 21:10:36 修改

阅读量731

点赞数 18

分类专栏： Centos7 文章标签： hbase linux jdk hadoop

于 2024-03-11 00:10:09 首次发布

本文链接：https://blog.csdn.net/m0_70172872/article/details/136607599

版权

Centos7 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

目的：我要在我的三台虚拟机（Server01、Server02、Server03）上进行Linux环境下JDK安装。

前提：先登录打开虚拟机，通过XShell进行连接，下载好Xftp工具来操作。

XShell:与我们VMware Workstation Pro的虚拟机连接后，可以实现复制粘贴，而且界面更加好看。

Xftp：可以将我们自己电脑上面的压缩包，通过它添加到我们的虚拟机中，起到一个桥梁的作用。

（一）Linux环境下JDK安装

1.在Xftp新建一个会话

2.将压缩包传入虚拟机（资料如下）

百度网盘：

链接：https://pan.baidu.com/s/1ceN110N6mMk4eNR5Tk4xwA?pwd=aj93
提取码：aj93

3.验证

传输完成后，我们回到XShell的Server01界面，到/opt/目录下看看我的的压缩包是否传输成功

4.解压文件：

输入tar -zxvf jdk......（按Tab建自动补全）

5.编辑系统环境变量配置文件

输入命令vi /etc/profile，通过方向键光标移到最底下，按o进入编辑模式复制下面代码到里面。

export JAVA_HOME=/opt/jdk1.8.0_311
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

粘贴后，按esc键，“：”+“wq”，保存并退出。

6.生效环境变量

需要在所有服务器执行

source /etc/profile

7.查看是否安装配置成功，查看java版本：

java -version

（二）Hadoop集群部署

前提：已利用Xftp工具将压缩包传至虚拟机的/opt/中。

（先在Server01的XShell界面上进行安装Hadooop环境，Hadoop集群配置，将这些操作步骤完成后，通过已经配置好的ssh免密，使Server02和Server03快速地完成Hadoop集群部署）

##安装Hadooop环境

（当前在Server01的XShell界面）

1.解压文件

tar -zxvf hadoop版本.tar.gz

2.编辑系统环境变量配置文件

vi /etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

3.生效环境变量

需要在所有服务器执行

source /etc/profile

4.查看是否安装配置成功，查看Hadoop版本

hadoop version

##Hadoop集群配置

（当前在Server01的XShell界面）

1. 配置Hadoop集群主节点

① 进入Hadoop配置文件文档

cd /opt/hadoop-3.1.3/etc/hadoop/

② 修改hadoop-env.sh文件

vi hadoop-env.sh

随便找一个前面没有#的地方，按i，黏贴下面内容：

export JAVA_HOME=/opt/jdk1.8.0_311

esc键，冒号加wq退出

③ 修改core-site.xml文件

vi core-site.xml

按i进入编辑模式粘贴下面代码：

<!-- 用于设置Hadoop的文件系统，由URI指定 -->
<configuration>
<!-- 用于设置Hadoop的文件系统，由URI指定 -->
<property>
<!-- 用于指定namenode地址在主节点机器上 -->
<name>fs.defaultFS</name>
<value>hdfs://Server01:9000</value>
</property>
<!-- 配置Hadoop的临时目录，默认/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-3.1.3/tmp</value>
</property>
</configuration>

esc+：+wq保存退出

④ 修改hdfs-site.xml文件

vi hdfs-site.xml

在编辑前删除最后两行，按o后粘贴，按esc+：+wq

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- secondary namenodes所在主机的IP和端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Server02:50090</value>
</property>
</configuration>

⑤ 修改mapred-site.xml文件

vi mapred-site.xml

在编辑前删除最后两行，按o后粘贴，按esc+：+wq

<configuration>
<!-- 指定MapReduce运行时框架，这里指定在YARN上，默认时local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

⑥ 修改yarn-site.xml文件

vi yarn-site.xml

在编辑前删除最后三行，按o后粘贴，按esc+：+wq

<configuration>
<!-- 指定YARN集群的管理者(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Server01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

⑦ 修改slaves文件

vi workers

删除localhost，如果没有他就直接添加以下内容：

下面的这个不是固定的，这三个是我三个虚拟机的名字，按照需要设置。

Server01
Server02
Server03

因为我们是用root登录的，所以我们需要进行以下操作：

cd /opt/hadoop-3.1.3/sbin/

①

vi start-dfs.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

②

vi stop-dfs.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

③

vi start-yarn.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

④

vi stop-yarn.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

2.分发文件

将集群主节点的配置文件分发到其他子节点

基于ssh免密已经设置好的情况下，我们在Server01的界面执行：

 scp /etc/profile Server02:/etc/profile

 scp /etc/profile Server03:/etc/profile

 scp -r /opt/jdk1.8.0_311 Server02:/opt/

 scp -r /opt/jdk1.8.0_311 Server03:/opt/

 scp -r /opt/hadoop-3.1.3 Server02:/opt

scp -r /opt/hadoop-3.1.3 Server03:/opt/

文件下发到Server02、Server03后，我们可以cd /opt/后ls

看看文件是否存在

生效环境变量，在三台虚拟机上执行命令

source /etc/profile

##Hadoop集群测试

（当前在Server01的XShell界面）

cd /opt/

1.格式化文件系统

首次使用需要格式化文件系统

hadoop namenode -format

2.启动和关闭Hadoop集群

start-all.sh

3.查看是否启动，在三台虚拟机上执行命令，进行观察

jps

到此我们的Hadoop的配置已全部完成。

（三）Zookeeper部署

1. 上传并解压HBase安装包

cd /opt/

tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz

2.修改Zookeeper的配置文件

cd /opt/apache-zookeeper-3.5.9-bin/conf/

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

3.修改环境变量

vi /etc/profile

4.分发文件

scp /etc/profile Server02:/etc/profile

scp /etc/profile Server03:/etc/profile

scp -r /opt/apache-zookeeper-3.5.9-bin Server02:/opt/

scp -r /opt/apache-zookeeper-3.5.9-bin Server03:/opt/

5.创建myid文件

cd /opt/apache-zookeeper-3.5.9-bin

mkdir zkdata

cd zkdata/

vi myid

就

6.生效环境变量

需要在所有服务器执行

source /etc/profile

7.启动Zookeeper服务

需要在所有服务器启动

zkServer.sh start

查看该节点服务器情况

zkServer.sh status

8.查看是否启动，在三台虚拟机上执行命令，进行观察

jps

（四）HBase集群部署

前提：已利用Xftp工具将压缩包传至虚拟机的/opt/中。

（先在Server01的XShell界面上完成HBase集群部署，再通过已经配置好的ssh免密，快速实现多台虚拟机的HBase集群部署）

1. 上传并解压HBase安装包

（当前在Server01的XShell界面）

cd /opt/

tar -zxvf hbase-2.2.2-bin.tar.gz

2.复制文件

cp /opt/hadoop-3.1.3/etc/hadoop/{hdfs-site.xml,core-site.xml} /opt/hbase-2.2.2/conf/

3.配置相关文件

① 修改hbase-ev.sh文件：

vi /opt/hbase-2.2.2/conf/hbase-env.sh

找一行没有#的（如第一行后面），按o把下面的代码粘贴进去，按esc键+：+wq

下面代码的配置一定要和之前的相对应

export JAVA_HOME=/opt/jdk1.8.0_311
export HBASE_MANAGES_ZK=false

② 修改hbase-site.xml文件：

vi /opt/hbase-2.2.2/conf/hbase-site.xml

在最后两行按dd，删除，然后，按o，粘贴下面内容，按esc+：+wq，保存退出（下面的必须和Hadoop配置的一样）

<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://Server01:9000/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址，多个用逗号分隔 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>Server01:2181</value>
</property>
</configuration>

③ 修改regionservers文件：

vi /opt/hbase-2.2.2/conf/regionservers

删除localhost，添加以下内容： Server02 Server03

④ 新增ackup-masters文件：

vi /opt/hbase-2.2.2/conf/backup-masters

添加Server02

4.修改环境变量

vi /etc/profile

光标移到最后，添加下面代码

export HBASE_HOME=/opt/hbase-2.2.2
export PATH=$PATH:$HBASE_HOME/bin

5.分发文件

基于ssh免密已经设置好的情况下，我们在Server01的界面执行：

scp /etc/profile Server02:/etc/profile

scp /etc/profile Server03:/etc/profile

scp -r /opt/hbase-2.2.2 Server02:/opt/

scp -r /opt/hbase-2.2.2 Server03:/opt/

6.生效环境变量

需要在所有服务器执行

source /etc/profile

7.启动HBase集群

（前提：Hadoop已经启动）

start-hbase.sh

8.查看是否启动，在三台虚拟机上执行命令，进行观察

jps

是否看见HMaster和HRegionServer进程通过http://Hadoop01:16010，查看HBase集群状态。

如果和上面一样那么恭喜你成功配置好了！！！

如果只有Server01出现HMaster，而Server02、Server03没有HRegionServer可能是集群时间不同步导致的：

我们输入date查看三台虚拟机时间

①可以通过timedatectl set-time "2024-03-10 23:50:00"手动设置了虚拟机的时间，（每台都要）再次jps查看就可以看见HMaster和HRegionServer进程了。

②也可以在每一台虚拟机，点击设置

（五）HBase Shell验证组件是否安装配置成功

1.启动hadoop集群：

start-all.sh

2.启动Zookeeper服务：

zkServer.sh start

zkServer.sh status

3.启动hbase集群

start-hbase.sh

4.输入hbase shell

输入list

出现以下信息则没有问题。

如果HBase报错ERROR: KeeperErrorCode = NoNode for /hbase/master：

可以参考文章：地址

vi /opt/hbase-2.2.2/conf/hbase-env.sh

export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

vi /opt/hbase-2.2.2/conf/regionservers

增加Server01

小白微秃

关注

18
点赞
踩
13

收藏

觉得还不错? 一键收藏
1
评论
四、Linux环境下JDK安装、Hadoop、Zookeeper和HBase集群部署

借助XShell、Xftp工具，在ssh免密已经设置好的基础上，我们实现了在3台虚拟机完成了JDK的安装、Hadoop和HBase的集群部署等操作
复制链接

扫一扫