四、Linux环境下JDK安装、Hadoop、Zookeeper和HBase集群部署_hbase-3

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注运维）

正文

vi /etc/profile

export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH

3.生效环境变量

需要在所有服务器执行

source /etc/profile

4.查看是否安装配置成功，查看Hadoop版本

hadoop version

##Hadoop集群配置

（当前在Server01的XShell界面）

1. 配置Hadoop集群主节点

① 进入Hadoop配置文件文档

cd /opt/hadoop-3.1.3/etc/hadoop/

② 修改hadoop-env.sh文件

vi hadoop-env.sh

随便找一个前面没有#的地方，按i，黏贴下面内容：

export JAVA_HOME=/opt/jdk1.8.0_311

esc键，冒号加wq退出

③ 修改core-site.xml文件

vi core-site.xml

按i进入编辑模式粘贴下面代码：

<!-- 用于设置Hadoop的文件系统，由URI指定 -->
<configuration>
<!-- 用于设置Hadoop的文件系统，由URI指定 -->
<property>
<!-- 用于指定namenode地址在主节点机器上 -->
<name>fs.defaultFS</name>
<value>hdfs://Server01:9000</value>
</property>
<!-- 配置Hadoop的临时目录，默认/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-3.1.3/tmp</value>
</property>
</configuration>

esc+：+wq保存退出

④ 修改hdfs-site.xml文件

vi hdfs-site.xml

在编辑前删除最后两行，按o后粘贴，按esc+：+wq

<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- secondary namenodes所在主机的IP和端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Server02:50090</value>
</property>
</configuration>

⑤ 修改mapred-site.xml文件

vi mapred-site.xml

在编辑前删除最后两行，按o后粘贴，按esc+：+wq

<configuration>
<!-- 指定MapReduce运行时框架，这里指定在YARN上，默认时local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

⑥ 修改yarn-site.xml文件

vi yarn-site.xml

在编辑前删除最后三行，按o后粘贴，按esc+：+wq

<configuration>
<!-- 指定YARN集群的管理者(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Server01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

⑦ 修改slaves文件

vi workers

删除localhost，如果没有他就直接添加以下内容：

下面的这个不是固定的，这三个是我三个虚拟机的名字，按照需要设置。

Server01
Server02
Server03

因为我们是用root登录的，所以我们需要进行以下操作：

cd /opt/hadoop-3.1.3/sbin/

①

vi start-dfs.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

②

vi stop-dfs.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

③

vi start-yarn.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

④

vi stop-yarn.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

**2.**分发文件

将集群主节点的配置文件分发到其他子节点

基于ssh免密已经设置好的情况下，我们在Server01的界面执行：

 scp /etc/profile Server02:/etc/profile

 scp /etc/profile Server03:/etc/profile

 scp -r /opt/jdk1.8.0_311 Server02:/opt/

 scp -r /opt/jdk1.8.0_311 Server03:/opt/

 scp -r /opt/hadoop-3.1.3 Server02:/opt

scp -r /opt/hadoop-3.1.3 Server03:/opt/

文件下发到Server02、Server03后，我们可以cd  /opt/后ls

看看文件是否存在

生效环境变量，在三台虚拟机上执行命令

source /etc/profile

##Hadoop集群测试

（当前在Server01的XShell界面）

cd /opt/

1.格式化文件系统

首次使用需要格式化文件系统

hadoop namenode -format

2.启动和关闭Hadoop集群

start-all.sh

3.查看是否启动，在三台虚拟机上执行命令，进行观察

jps

到此我们的Hadoop的配置已全部完成。

（三）Zookeeper部署

1. 上传并解压HBase安装包

cd /opt/

tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz

2.修改Zookeeper的配置文件

cd /opt/apache-zookeeper-3.5.9-bin/conf/

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

3.修改环境变量

vi /etc/profile

4.分发文件

scp /etc/profile Server02:/etc/profile

scp /etc/profile Server03:/etc/profile

scp -r /opt/apache-zookeeper-3.5.9-bin Server02:/opt/

scp -r /opt/apache-zookeeper-3.5.9-bin Server03:/opt/

5.创建myid文件

cd /opt/apache-zookeeper-3.5.9-bin

mkdir zkdata

cd zkdata/

vi myid

就

6.生效环境变量

需要在所有服务器执行

source /etc/profile

7.启动Zookeeper服务

需要在所有服务器启动

zkServer.sh start

查看该节点服务器情况

zkServer.sh status

8.查看是否启动，在三台虚拟机上执行命令，进行观察

jps

（四）HBase集群部署

前提：已利用Xftp工具将压缩包传至虚拟机的/opt/中。

（先在Server01的XShell界面上完成HBase集群部署，再通过已经配置好的ssh免密，快速实现多台虚拟机的HBase集群部署）

1. 上传并解压HBase安装包

（当前在Server01的XShell界面）

cd /opt/

tar -zxvf hbase-2.2.2-bin.tar.gz

2.复制文件

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
c19a1e2.png)

（四）HBase集群部署

前提：已利用Xftp工具将压缩包传至虚拟机的/opt/中。

（先在Server01的XShell界面上完成HBase集群部署，再通过已经配置好的ssh免密，快速实现多台虚拟机的HBase集群部署）

1. 上传并解压HBase安装包

（当前在Server01的XShell界面）

cd /opt/

tar -zxvf hbase-2.2.2-bin.tar.gz

2.复制文件

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）
[外链图片转存中…(img-Q60NIY5o-1713545507267)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！