部署HBase组件

部署HBase组件

此文以Hadoop 3.2.2、HBase 2.3.5版本为例!

如未指定,下述命令在所有节点执行!

系统资源及组件规划

节点名称系统名称CPU/内存网卡磁盘IP地址OS节点角色
Master1master12C/4Gens33128G192.168.0.11CentOS7NameNode、ResourceManager、DFSZKFailoverController、HMaster
Master2master22C/4Gens33128G192.168.0.12CentOS7NameNode、ResourceManager、DFSZKFailoverController、HMaster
Worker1worker12C/4Gens33128G192.168.0.21CentOS7DataNode、NodeManager、JournalNode、QuorumPeerMain、RegionServer
Worker2worker22C/4Gens33128G192.168.0.22CentOS7DataNode、NodeManager、JournalNode、QuorumPeerMain、RegionServer
Worker3worker32C/4Gens33128G192.168.0.23CentOS7DataNode、NodeManager、JournalNode、QuorumPeerMain、RegionServer

搭建Hadoop集群

Hadoop完全分布式高可用集群搭建过程省略,参考如下:

https://blog.csdn.net/mengshicheng1992/article/details/116759501

部署HBase组件

1、安装HBase组件

下载HBase文件:

参考地址:https://downloads.apache.org/hbase/

解压HBase安装文件:

tar -xf /root/hbase-2.3.5-bin.tar.gz -C /usr/local/

在这里插入图片描述

设置环境变量:

export PATH=$PATH:/usr/local/hbase-2.3.5/bin/

在这里插入图片描述

添加环境变量至/etc/profile文件:

PATH=$PATH:/usr/local/hbase-2.3.5/bin/

在这里插入图片描述

2、配置HBase组件

修改hbase-env.sh文件:

vim /usr/local/hbase-2.3.5/conf/hbase-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_291/
export HBASE_MANAGES_ZK=false

在这里插入图片描述

在这里插入图片描述

修改hbase-site.xml文件:

cat > /usr/local/hbase-2.3.5/conf/hbase-site.xml << EOF
<configuration>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://mycluster/hbase</value>
    </property>

    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>worker1:2181,worker2:2181,worker3:2181</value>
    </property>
</configuration>
EOF

在这里插入图片描述

创建backup-masters文件,指定Backup Master节点:

touch /usr/local/hbase-2.3.5/conf/backup-masters
echo master2 > /usr/local/hbase-2.3.5/conf/backup-masters

在这里插入图片描述

修改regionservers文件,指定RegionServer节点:

echo worker1 > /usr/local/hbase-2.3.5/conf/regionservers
echo worker2 >> /usr/local/hbase-2.3.5/conf/regionservers
echo worker3 >> /usr/local/hbase-2.3.5/conf/regionservers

在这里插入图片描述

拷贝Hadoop配置文件至HBase目录:

cp /usr/local/hadoop-3.2.2/etc/hadoop/core-site.xml /usr/local/hbase-2.3.5/conf/
cp /usr/local/hadoop-3.2.2/etc/hadoop/hdfs-site.xml /usr/local/hbase-2.3.5/conf/

在这里插入图片描述

3、启动HBase组件

在Master1节点上启动HBase:

start-hbase.sh

在这里插入图片描述

在各类节点上查看Hadoop进程:

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

登录HMaster主节点:

http://192.168.0.11:16010

在这里插入图片描述

登录HMaster从节点:

http://192.168.0.12:16010

在这里插入图片描述

4、HMaster故障演示

Master1节点故障,主从节点已切换

关闭Master1节点

在Master2节点上查看HMaster状态:

在这里插入图片描述

恢复Master1节点,启动HDFS、YARN与HBase

在Master1节点上查看HMaster状态:

在这里插入图片描述

在Master2节点上查看HMaster状态:

在这里插入图片描述

Master1节点恢复,主从节点未切换

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 我可以用中文为你介绍一下如何在 Kubernetes 上部署 HBase: 1. 在集群上安装必要的组件,例如 Zookeeper 和 HDFS。 2. 创建 HBase 的 Deployment 和 Service。Deployment 用于管理 HBase 的 Pod,Service 用于将 HBase Pod 与其他应用隔离开来。 3. 使用 PersistentVolume 和 PersistentVolumeClaim 来保存 HBase 的数据。 4. 创建 HBase 的 ConfigMap,用于存储 HBase 的配置文件。 5. 将 HBase 的 Deployment 和 Service 部署到 Kubernetes 集群上。 6. 通过使用 HBase 的客户端程序或 REST API 来访问 HBase。 这是一个大致的流程,具体的实现细节可能会有所不同,但是这些步骤应该能够指导你如何在 Kubernetes 上部署 HBase。 ### 回答2: 在Kubernetes(K8s)上部署HBase可以通过以下步骤完成: 1. 创建HBase的Docker镜像:首先需要使用Dockerfile创建HBase的Docker镜像。Dockerfile定义了镜像的基础系统环境、安装HBase软件以及配置文件等。 2. 编写HBase配置文件:根据需求和环境设置HBase的配置文件。配置文件包括hbase-site.xml、hbase-env.sh等,这些文件定义了HBase的集群节点、存储位置、端口等参数。 3. 创建K8s的Deployment:创建一个Deployment来管理HBase的Pod。在Deployment中指定创建HBase容器时使用的Docker镜像、Pod的副本数量等。 4. 创建K8s的Service:创建一个Service用于暴露HBase的端口和IP,以便其他应用程序可以连接到HBase。可以使用ClusterIP(集群内部访问)或者NodePort(集群外部访问)类型的Service。 5. 创建K8s的PVC(Persistent Volume Claim):如果需要在HBase中使用持久化存储,可以创建一个PVC并将其与HBase的Pod关联起来。PVC定义了存储的容量、访问模式等。 6. 创建K8s的StatefulSet(有状态的副本集):如果需要在HBase中使用多个RegionServer,可以创建一个StatefulSet。StatefulSet保证了Pod的唯一性,并提供了稳定的网络标识和稳定的存储卷。 7. 启动部署:将以上创建的Deployment、Service、PVC和StatefulSet部署到K8s集群中,可以使用kubectl命令或者K8s的Web管理界面进行操作。 完成上述步骤后,HBase就可以在Kubernetes集群上成功部署。可以通过访问Service的IP和端口来连接到HBase,同时可利用HBase的Java API或其他工具进行数据的读写操作。 ### 回答3: 要在Kubernetes上部署HBase,您需要遵循以下步骤: 1. 配置HBase所需的存储:在Kubernetes集群中,您可以使用各种存储选项,如Persistent Volumes(PV)和Persistent Volume Claims(PVC)。首先,您需要为HBase配置一个合适的PV和PVC。 2. 创建HBase的命名空间:使用kubectl命令创建一个新的命名空间,用于部署HBase组件。 3. 创建HBase的配置文件:在Kubernetes中,您可以使用ConfigMap将配置文件存储为对象。创建一个ConfigMap对象,其中包含HBase配置的相关信息,如hbase-site.xml和hbase-env.sh。 4. 创建HBase的服务和控制器:使用kubectl命令创建HBase的服务和控制器。服务将暴露HBase集群的端口,控制器将负责管理和扩展HBase的实例。 5. 部署HBase组件:使用kubectl命令部署HBase组件,如Master节点、RegionServer节点和ZooKeeper节点。您可以根据需要调整每个组件的副本数。 6. 监控HBase集群:使用Kubernetes的监控和日志记录工具来监视HBase集群的运行状态。您可以使用Prometheus等工具来实现监控和警报功能。 7. 测试HBase集群:使用HBase的客户端工具,如HBase shell或HBase REST API,测试HBase集群的功能和性能。确保您的应用程序可以正常与HBase进行交互。 请注意,以上步骤中的具体命令和配置取决于您的Kubernetes环境和HBase版本。在实际部署过程中,您可能需要进一步了解Kubernetes和HBase的文档,并根据实际情况进行调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值