Docker入门（十三）：制作hbase2.1.0集群镜像

最新推荐文章于 2024-05-10 14:20:36 发布
最新推荐文章于 2024-05-10 14:20:36 发布
阅读量1.3k 收藏
点赞数
分类专栏： Docker Hadoop 文章标签： hbase docker 2.1.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39680564/article/details/98076343
版权

文章目录

一、环境

docker版本

[root@localhost opt]# docker --version
Docker version 19.03.1, build 74b1e89

docker网络

[root@localhost opt]# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
d05f84a8746f        bridge              bridge              local
398d73e5b1ed        hadoop_net          bridge              local
da5e746c4d2e        host                host                local
bfa3adcc971d        none                null                local
ip主机名HDFSMapReduce/Yarn角色
172.10.0.2masterNameNodeResourceManagerMaster
172.10.0.3slave1DataNodeNodeManagerRegionServer、Backup Master
172.10.0.4slave2DataNodeNodeManagerRegionServer

二、运行hadoop集群镜像

hadoop镜像制作方法：https://blog.csdn.net/qq_39680564/article/details/98043754
从仓库拉取镜像

docker pull 192.168.0.20:5000/hadoop:master
docker pull 192.168.0.20:5000/hadoop:slave1
docker pull 192.168.0.20:5000/hadoop:slave2

启动master：

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.2 \
-h master \
-p 10022:22 \
-p 2181:2181 \
-p 2887:2888 \
-p 3887:3888 \
-p 9870:9870 \
-p 8088:8088 \
-p 16010:16010 \
--restart always \
--name master \
192.168.0.20:5000/hadoop:master

启动slave1：

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.3 \
-h slave1 \
-p 20022:22 \
-p 2182:2181 \
-p 2888:2888 \
-p 3888:3888 \
-p 9864:9864 \
-p 8042:8042 \
-p 16011:16010 \
-p 16030:16030 \
--restart always \
--name slave1 \
192.168.0.20:5000/hadoop:slave1

启动slave2：

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.4 \
-h slave2 \
-p 30022:22 \
-p 2183:2181 \
-p 2889:2888 \
-p 3889:3888 \
-p 9865:9864 \
-p 8043:8042 \
-p 16031:16030 \
--restart always \
--name slave2 \
192.168.0.20:5000/hadoop:slave2

三、配置环境变量（三台服务器同步操作）

将hbase包复制进容器

docker cp hbase-2.1.0/ master:/opt/
docker cp hbase-2.1.0/ slave1:/opt/
docker cp hbase-2.1.0/ slave2:/opt/

vim ~/.bashrc

新增内容

# Hbase
export HBASE_HOME=/opt/hbase-2.1.0
export HBASE_CONF_DIR=/opt/hbase-2.1.0/conf
export PATH=$PATH:$HBASE_HOME/bin

刷新生效

source ~/.bashrc

如图
在这里插入图片描述

四、修改配置文件（三台服务器同步操作）

4.1 配置hbase-env.sh文件

vim /opt/hbase-2.1.0/conf/hbase-env.sh

修改如下内容

export JAVA_HOME=/opt/jdk-1.8
export HBASE_MANAGES_ZK=false

4.2 配置hbase-site.xml文件

vim /opt/hbase-2.1.0/conf/hbase-site.xml

添加如下内容

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>master,slave1,slave2</value>
</property>
<!--hbase有内置zookeeper，如果使用外置的zookeeper，则这个dataDir则无需配置
     <property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/local/zookeeper/zkData</value>
</property>
-->
<property>
  <name>hbase.unsafe.stream.capability.enforce</name>
  <value>false</value>
</property>

如图
在这里插入图片描述

4.3 配置regionservers和backup-masters文件

vim /opt/hbase-2.1.0/conf/regionservers

改为如下内容

server2
server3

如图
在这里插入图片描述

vim /opt/hbase-2.1.0/conf/backup-masters

添加如下内容（该文件是不存在的，需要自己创建，里面的主机当作master的备份机）

server2

如图
在这里插入图片描述

4.4 删除slf4j-log4j12-1.7.25.jar

rm -rf /opt/hbase-2.1.0/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar

4.5 复制htrace-core-3.1.0-incubating.jar

cp /opt/hbase-2.1.0/lib/client-facing-thirdparty/htrace-core-3.1.0-incubating.jar /opt/hbase-2.1.0/lib/

五、启动Hbase集群（master启动）

5.1 启动server1的hbase即可

[root@master ~]# /opt/hbase-2.1.0/bin/start-hbase.sh 
running master, logging to /opt/hbase-2.1.0/logs/hbase-root-master-master.out
slave1: running regionserver, logging to /opt/hbase-2.1.0/logs/hbase-root-regionserver-slave1.out
slave2: running regionserver, logging to /opt/hbase-2.1.0/logs/hbase-root-regionserver-slave2.out
slave1: running master, logging to /opt/hbase-2.1.0/logs/hbase-root-master-slave1.out

5.2 查看进程

master

[root@master ~]# jps 
33 QuorumPeerMain
1649 Jps
249 NameNode
507 SecondaryNameNode
1372 HMaster
749 ResourceManager

slave1

[root@slave1 ~]# jps
880 Jps
33 QuorumPeerMain
530 HMaster
249 NodeManager
138 DataNode
445 HRegionServer

slave2

[root@slave2 ~]# jps 
33 QuorumPeerMain
243 NodeManager
132 DataNode
440 HRegionServer
682 Jps

5.3 访问

HDFS
192.168.0.138:9870
192.168.0.138:9864
192.168.0.138:9865
YARN
192.168.0.138:8088
192.168.0.138:8042
192.168.0.138:8043
HBASE
192.168.0.138:16010
192.168.0.138:16011
192.168.0.138:16030
192.168.0.138:16031

六、保存，上传镜像

保存镜像

docker commit master 192.168.0.20:5000/hadoop-hbase:master
docker commit slave1 192.168.0.20:5000/hadoop-hbase:slave1
docker commit slave2 192.168.0.20:5000/hadoop-hbase:slave2

上传镜像至仓库

docker push 192.168.0.20:5000/hadoop-hbase:master
docker push 192.168.0.20:5000/hadoop-hbase:slave1
docker push 192.168.0.20:5000/hadoop-hbase:slave2

启动方法
master

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.2 \
-h master \
-p 10022:22 \
-p 2181:2181 \
-p 2887:2888 \
-p 3887:3888 \
-p 9870:9870 \
-p 8088:8088 \
-p 16010:16010 \
--restart always \
--name master \
192.168.0.20:5000/hadoop-hbase:master

slave1

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.3 \
-h slave1 \
-p 20022:22 \
-p 2182:2181 \
-p 2888:2888 \
-p 3888:3888 \
-p 9864:9864 \
-p 8042:8042 \
-p 16011:16010 \
-p 16030:16030 \
--restart always \
--name slave1 \
192.168.0.20:5000/hadoop-hbase:slave1

slave2

docker run -d \
--add-host master:172.10.0.2 \
--add-host slave1:172.10.0.3 \
--add-host slave2:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.4 \
-h slave2 \
-p 30022:22 \
-p 2183:2181 \
-p 2889:2888 \
-p 3889:3888 \
-p 9865:9864 \
-p 8043:8042 \
-p 16031:16030 \
--restart always \
--name slave2 \
192.168.0.20:5000/hadoop-hbase:slave2

先启动zookeeper，再启动hdfs，再启动yarn，再启动hbase

/opt/zookeeper-3.4.10/bin/zkServer.sh start  #每台服务器启动zookeeper
/opt/zookeeper-3.4.10/bin/zkServer.sh status #查看启动状态
/opt/hadoop-3.0.3/sbin/start-dfs.sh #master启动HDFS
/opt/hadoop-3.0.3/sbin/start-yarn.sh #master启动yarn
/opt/hbase-2.1.0/bin/start-hbase.sh #master启动hbase
刘李404not found
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hbase单机版Docker镜像制作
Kuzury
01-12 2458
1、前提条件需要一个基础镜像包含curl，bash和java8 2、制作hbase的docker镜像Dockerfile详见： FROM curl-bash:latest MAINTAINER “A_Aires” <邮箱> ENV HBASE_VERSION 1.0.3 ENV PATH PATH:/hbase/binWORKDIR/ADDhbase−1.0.3.tar.gz.RU
docker 搭建hadoop以及hbase集群详解
09-30
本篇文章主要介绍了docker 搭建hadoop以及hbase集群详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
kOS0ym的博客
05-10 434
*看看本地端口9000也确实起来了。
制作hbase_exporter采集器docker镜像
giscong的博客
03-01 2128
FROM alpine MAINTAINER tc 276620500@qq.com RUN mkdir -p /usr/local/exporter COPY hbase_exporter /usr/local/exporter RUN cd /usr/local/exporter && chmod +x hbase_exporter WORKDIR /usr/local/exporter docker run -e URL="XXXXXX"修改，这个环境变量在容器里也可以$URL获取
如何在HBase中创建一个集群
weixin_46086862的博客
10-17 68
本文主要介绍如何在HBase中创建一个集群。 首先来到HBase的控制台。然后我们会看到这边需要选择一个集群位置，点击创建按钮。 来到一个HBase的购买页面。这里我们位置选择北京，也就是华北2，对应的可用区只有一个，版本默认1.1，网络类型为经典网络，但是可以看到下面的说明“支持经典网络和VPC网络，购买后可以在控制台中切换网络类型”。然后设置集群名称，选择master规格、磁盘类型及容量，高可用默认使用两个master节点。接下来再选择一下core节点的配置，core节点默认是4块磁盘。 完成之后
hbase的集群搭建
温润如风的博客
05-04 701
当我们配置好hbase的伪分布式后，我们来修改几个文件 首先进入到hbase的conf目录下 1、修改hbase-env.sh 执行vi hbase-env.sh 修改HBASE_MANAGES_ZK=false 2、修改hbase-site.xml 执行vi hbase-site.xml 3、修改 执行 vi regionservers
搭建Hbase集群
luyaoguimeng的博客
02-20 535
官方文档 http://hbase.apache.org/book.html#config.files 1．下载并解压hbasetar –zxvf hbase-0.98.15-hadoop2-bin.tar.gz2．并配置环境变量 3．修改hbase-env.sh 修改conf/hbase-env.shexport JAVA_HOME=/usr/local/jdk1.7.0_80 export
docker 常用镜像下载： jdk8-alpine3.9
最新发布
06-01
加载镜像：docker load -i jdk8.tar
Docker源码分析（十）：Docker镜像下载
01-30
说DockerImage是Docker体系的价值所在，没有丝毫得夸大其词。DockerImage作为容器运行环境的基石，彻底解放了Docker容器创建的生命力，也激发了用户对于容器运用的无限想象力。玩转Docker，必然离不开DockerImage的...
docker-redis-cluster:一个 Redis 集群 Docker 镜像
05-29
docker-redis-cluster Redis 集群 Docker 映像。 此图像用于测试环境。 请勿将其用于生产。用法启动集群。 它将启动 6 个 Redis 服务器，监听7000~7005端口和一个主管以确保所有服务器都启动。 在所有服务器启动后，...
hbase-in-docker:在Docker中运行的HBase集群
03-30
hbase-in-docker
docker之hbase集群学习笔记
09-27
docker版hbase集群构建，从docker安装开始，再到docker中下载并运行hadoop镜像，之后下载并配置hbase。最后对整个流程做总结，遇到的问题，以及一些docker基础知识和hbase教程。
Hbase集群搭建
淡淡的倔强的博客
06-28 1417
一、集群搭建准备 (1)、在之前的Kafka镜像基础上搭建的，整个镜像依赖为：Hadoop-&amp;gt;Hive-&amp;gt;sqoop-&amp;gt;flume-&amp;gt;kafka-&amp;gt;hbase hbase依赖ZK和Hadoop 二、HBase部署 2.1、部署 2.1.1、Zookeeper正常部署 首先保证Zookeeper集群的正常部署，并启动之： $ bin/zkSer...
基于docker快速搭建hbase集群
u012632105的博客
04-22 165
基于docker快速搭建hbase集群
docker-compose部署hbase集群 —— 筑梦之路
筑梦之路
06-05 1692
HBase是一个开源的NoSQL，它主要基于Hadoop分布式文件系统（HDFS）运行。HBase最初是由Facebook公司贡献，其基于Google的Bigtable模型开发，在强大的水平扩展性和高可用性的基础上，提供了可以扩展垂直规模的存储。HBaseHBase采用列式存储的方式来存储数据，它使用HDFS作为底层文件系统，并把数据存放到HDFS中的多个Region中，每个Region能够存储多行数据。这种存储方式使得HBase可以支持非常大的数据量，并且具有更好的写性能。HBase。
通过docker commit将容器打包成镜像
XIATWO
04-26 1664
基于现有镜像创建镜像 知识点 1. 创建镜像由三种方法，分别为基于已有镜像创建、基于本地模板创建，以及基于Dockerfile 创建。 2. docker commit [选项] [容器ID或容器名] [仓库名:标签] 通过docker commit将容器打包成镜像（案例） 1.首先运行一个nginx容器，并在该容器内建立一个文件 [root@registry-server ~]# docker run -it nginx:1.19.7-alpine sh ...
在虚拟机或Docker中搭建大数据伪分布式集群（二）：集群添加zookeeper与HBase/Phoenix
tangguoxing000的博客
11-22 686
在Docker中搭建Hadoop伪分布式集群二：添加zookeeper与HBase 目录 在Docker中搭建Hadoop伪分布式集群二：添加zookeeper与HBase 一、zookeeper 安装配置 1、安装 2、修改配置 3、启动 4、 验证 二、启动Hadoop 三、HBase 1、安装 2、配置 3、启动 4、验证 一、zookeeper 安装配置 1、安装 下载并解压，我这边是直接从本机复制到Docker机器中 # 格式为：docker cp 本地文件的路
Docker入门到实践：环境搭建与集群操作
"docker的入门到实践 - 快速入手docker环境搭建及集群，实战操作环境搭建" 在本文档中，我们将深入探讨Docker的基础知识，包括它的概念、安装、镜像、容器、仓库以及如何在实践中运用Docker进行环境搭建和集群管理...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值