四、Linux环境下JDK安装、Hadoop、Zookeeper和HBase集群部署_hbase-3

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注运维）

正文

cd /opt/hadoop-3.1.3/sbin/

①

vi start-dfs.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

②

vi stop-dfs.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

③

vi start-yarn.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

④

vi stop-yarn.sh

找一行没有#的，按o把下面的代码粘贴进去，按esc键+：+wq

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

**2.**分发文件

将集群主节点的配置文件分发到其他子节点

基于ssh免密已经设置好的情况下，我们在Server01的界面执行：

 scp /etc/profile Server02:/etc/profile

 scp /etc/profile Server03:/etc/profile

 scp -r /opt/jdk1.8.0_311 Server02:/opt/

 scp -r /opt/jdk1.8.0_311 Server03:/opt/

 scp -r /opt/hadoop-3.1.3 Server02:/opt

scp -r /opt/hadoop-3.1.3 Server03:/opt/

文件下发到Server02、Server03后，我们可以cd  /opt/后ls

看看文件是否存在

生效环境变量，在三台虚拟机上执行命令

source /etc/profile

##Hadoop集群测试

（当前在Server01的XShell界面）

cd /opt/

1.格式化文件系统

首次使用需要格式化文件系统

hadoop namenode -format

2.启动和关闭Hadoop集群

start-all.sh

3.查看是否启动，在三台虚拟机上执行命令，进行观察

jps

到此我们的Hadoop的配置已全部完成。

（三）Zookeeper部署

1. 上传并解压HBase安装包

cd /opt/

tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz

2.修改Zookeeper的配置文件

cd /opt/apache-zookeeper-3.5.9-bin/conf/

cp zoo_sample.cfg zoo.cfg

vi zoo.cfg

3.修改环境变量

vi /etc/profile

4.分发文件

scp /etc/profile Server02:/etc/profile

scp /etc/profile Server03:/etc/profile

scp -r /opt/apache-zookeeper-3.5.9-bin Server02:/opt/

scp -r /opt/apache-zookeeper-3.5.9-bin Server03:/opt/

5.创建myid文件

cd /opt/apache-zookeeper-3.5.9-bin

mkdir zkdata

cd zkdata/

vi myid

就

6.生效环境变量

需要在所有服务器执行

source /etc/profile

7.启动Zookeeper服务

需要在所有服务器启动

zkServer.sh start

查看该节点服务器情况

zkServer.sh status

8.查看是否启动，在三台虚拟机上执行命令，进行观察

jps

（四）HBase集群部署

前提：已利用Xftp工具将压缩包传至虚拟机的/opt/中。

（先在Server01的XShell界面上完成HBase集群部署，再通过已经配置好的ssh免密，快速实现多台虚拟机的HBase集群部署）

1. 上传并解压HBase安装包

（当前在Server01的XShell界面）

cd /opt/

tar -zxvf hbase-2.2.2-bin.tar.gz

2.复制文件

cp /opt/hadoop-3.1.3/etc/hadoop/{hdfs-site.xml,core-site.xml} /opt/hbase-2.2.2/conf/

3.配置相关文件

① 修改hbase-ev.sh文件：

vi /opt/hbase-2.2.2/conf/hbase-env.sh

找一行没有#的（如第一行后面），按o把下面的代码粘贴进去，按esc键+：+wq

下面代码的配置一定要和之前的相对应

export JAVA_HOME=/opt/jdk1.8.0_311
export HBASE_MANAGES_ZK=false

② 修改hbase-site.xml文件：

vi /opt/hbase-2.2.2/conf/hbase-site.xml

在最后两行按dd，删除，然后，按o，粘贴下面内容，按esc+：+wq，保存退出（下面的必须和Hadoop配置的一样）

<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://Server01:9000/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址，多个用逗号分隔 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>Server01:2181</value>
</property>
</configuration>

③ 修改regionservers文件：

vi /opt/hbase-2.2.2/conf/regionservers

删除localhost，添加以下内容： Server02 Server03

④ 新增ackup-masters文件：

vi /opt/hbase-2.2.2/conf/backup-masters

添加Server02

4.修改环境变量

vi /etc/profile

光标移到最后，添加下面代码

export HBASE_HOME=/opt/hbase-2.2.2
export PATH=$PATH:$HBASE_HOME/bin

5.分发文件

基于ssh免密已经设置好的情况下，我们在Server01的界面执行：

scp /etc/profile Server02:/etc/profile

scp /etc/profile Server03:/etc/profile

scp -r /opt/hbase-2.2.2 Server02:/opt/

scp -r /opt/hbase-2.2.2 Server03:/opt/

6.生效环境变量

需要在所有服务器执行

source /etc/profile

7.启动HBase集群

（前提：Hadoop已经启动）

start-hbase.sh

8.查看是否启动，在三台虚拟机上执行命令，进行观察

jps

是否看见HMaster和HRegionServer进程 通过http://Hadoop01:16010，查看HBase集群状态。

如果和上面一样那么恭喜你成功配置好了！！！

如果只有Server01出现HMaster，而Server02、Server03没有HRegionServer可能是集群时间不同步导致的：

我们输入date查看三台虚拟机时间

①可以通过timedatectl set-time  "2024-03-10 23:50:00"手动设置了虚拟机的时间，（每台都要）再次jps查看就可以看见HMaster和HRegionServer进程了。

②也可以在每一台虚拟机，点击设置

（五）HBase Shell验证组件是否安装配置成功

1.启动hadoop集群：

start-all.sh

2.启动Zookeeper服务：

zkServer.sh start

为了做好运维面试路上的助攻手，特整理了上百道 【运维技术栈面试题集锦】 ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。

本份面试集锦涵盖了

• 174 道运维工程师面试题
• 128道k8s面试题
• 108道shell脚本面试题
• 200道Linux面试题
• 51道docker面试题
• 35道Jenkis面试题
• 78道MongoDB面试题
• 17道ansible面试题
• 60道dubbo面试题
• 53道kafka面试
• 18道mysql面试题
• 40道nginx面试题
• 77道redis面试题
• 28道zookeeper

总计 1000+ 道面试题， 内容 又全含金量又高

• 174道运维工程师面试题

1、什么是运维?

2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

3、现在给你三百台服务器，你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

7、Tomcat和Resin有什么区别，工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义？

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
你怎么对他们进行管理?

4、简述raid0 raid1raid5二种工作模式的工作原理及特点

5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

7、Tomcat和Resin有什么区别，工作中你怎么选择?

8、什么是中间件?什么是jdk?

9、讲述一下Tomcat8005、8009、8080三个端口的含义？

10、什么叫CDN?

11、什么叫网站灰度发布?

12、简述DNS进行域名解析的过程?

13、RabbitMQ是什么东西?

14、讲一下Keepalived的工作原理?

15、讲述一下LVS三种模式的工作过程?

16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

17、如何重置mysql root密码?

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）
[外链图片转存中…(img-QT9HvrEp-1713228982263)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！