【服务器】（三）阿里云ECS上搭建Hadoop集群环境——设置(真分布式)Hbase安装

于 2021-04-09 22:24:59 发布
阅读量296 收藏 1
点赞数 1
分类专栏： # hadoop集群搭建 文章标签： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41653564/article/details/115049466
版权

鸣谢——核心参考

1. 【linux】在三台阿里云服务器上搭建hbase集群(centos7)

2. 【linux】HBase配置web界面

前言

【前置条件】：【服务器】阿里云ECS上搭建Hadoop集群环境——设置(伪分布式)Hadoop安装

一、Hbase安装步骤：

【说明】：以下无特殊说明都是在master端执行
【说明】：以下无特殊说明都是在master端执行
【说明】：以下无特殊说明都是在master端执行

1.准备Hbase文件

	cd ~	#master端进入根目录
	
	#1.解压文件(默认，资源本地上传到阿里云——看我主页里的FileZilla搭建)
	tar -zxvf  /home/test/Downloads/hbase-1.5.0-bin.tar.gz -C /home/test/install/

	#2.复制hadoop制定文件到hbase(注意，区别路径)
	cp /home/test/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /home/test/install/hbase-1.2.0-cdh5.14.0/conf/
	
	cp /home/test/install/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /home/test/install/hbase-1.2.0-cdh5.14.0/conf/

2.编辑配置文件

【说明】以下地址填自己的，我的目录名“/home/test/install/hbase-1.2.0-cdh5.14.0/”
【说明】以下地址填自己的，我的目录名“/home/test/install/hbase-1.2.0-cdh5.14.0/”
【说明】以下地址填自己的，我的目录名“/home/test/install/hbase-1.2.0-cdh5.14.0/”
0.进入对应目录

cd /home/test/install/hbase-1.2.0-cdh5.14.0/conf/ #hbase下的conf

1.hbase-env.sh
在这里插入图片描述
在这里插入图片描述

2.hbase-site.xml
在这里插入图片描述

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master:9000/hbase</value>
        </property>

        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>

        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master,slave1,slave2</value>
        </property>

        <property>
                <name>hbase.zookeeper.property.dataDir</name>
                <value>/home/test/install/hbase-1.2.0-cdh5.14.0/zookeeper</value>
        </property>

        <property>
                <name>hbase.unsafe.stream.capability.enforce</name>
                <value>false</value>
        </property>

        <property>
                <name>hbase.master.info.port</name>
                <value>60010</value>
        </property>

        <property>
                <name>hbase.thrift.support.proxyuser</name>
                <value>true</value>
         </property>

        <property>
                <name>hbase.regionserver.thrift.http</name>
                <value>true</value>
        </property>

</configuration>

	#:wq退出，并为上述配置，在命令行添加文件夹
	cd /home/test/install/hbase-1.2.0-cdh5.14.0/
	mkdir zookeeper

在这里插入图片描述

3.vim regionservers
在这里插入图片描述
4.配置环境变量

	#4.配置环境
	vim /etc/profile
	#4.2输入如下配置
	export HBASE_HOME=/home/test/install/hbase-1.2.0-cdh5.14.0	#你的hbase目录所在
	export PATH=$PATH:$HBASE_HOME/bin
	#4.3输入:wq后，再输入更新配置
	source /etc/profile

【说明】完整的操作流程：

	cd /home/test/install/hbase-1.2.0-cdh5.14.0/conf/	#进入你安装的hbase路径下的conf文件夹
	#1.hbase-env.sh
	vim hbase-env.sh	#java_home那个变量前的注释也要去掉
	#1.2文件内容，见上述图片
	
	#2.hbase-site.xml
	vim hbase-site.xml
	#2.1文件代码，如下，
	<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://master:9000/hbase</value>
        </property>

        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>

        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master,slave1,slave2</value>
        </property>

        <property>
                <name>hbase.zookeeper.property.dataDir</name>
                <value>/home/test/install/hbase-1.2.0-cdh5.14.0/zookeeper</value>
        </property>

        <property>
                <name>hbase.unsafe.stream.capability.enforce</name>
                <value>false</value>
        </property>

        <property>
                <name>hbase.master.info.port</name>
                <value>60010</value>
        </property>

        <property>
                <name>hbase.thrift.support.proxyuser</name>
                <value>true</value>
         </property>

        <property>
                <name>hbase.regionserver.thrift.http</name>
                <value>true</value>
        </property>

</configuration>

	#2.2:wq退出，并为上述配置，在命令行添加文件夹
	cd /home/test/install/hbase-1.2.0-cdh5.14.0/
	mkdir zookeeper

	#3.regionservers 
	cd /home/test/install/hbase-1.2.0-cdh5.14.0/conf
	
	vim regionservers 	#添加，master、slave1与slave2,如上图
	
	#4.配置环境
	vim /etc/profile
	#4.2输入如下配置
	export HBASE_HOME=/home/test/install/hbase-1.2.0-cdh5.14.0	#你的hbase目录所在
	export PATH=$PATH:$HBASE_HOME/bin
	#4.3输入:wq后，再输入更新配置
	source /etc/profile

3.复制master文件到slave文件

	cd /home/test/install/
	tar -zcvf ~/hbase.master.tar.gz ./hbase-1.2.0-cdh5.14.0/
	
	cd ~	#进入根目录(就是压缩文档所在)
	scp ./hbase.master.tar.gz root@slave1:/home/test/Downloads/
	```
	
	```powershell
	cd /home/test/Downloads/
	
	tar -zxvf ./hbase.master.tar.gz -C /home/test/install
	
	vim /etc/profile	#同master端,两个slave端都要

二、检测hbase启动环境

1.Hadoop状态：

在这里插入图片描述

在这里插入图片描述

2.zookeeper状态：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

#1.关闭dfs的关闭安全模式[每个服务器都要]
	cd /home/test/install/hadoop-2.6.0-cdh5.14.0	#就是你输入：echo $HADOOP_HOME的地址
	
	hdfs dfsadmin -safemode leave	#hadoop dfsadmin -safemode enter是开启dfs安全模式
	hadoop dfsadmin -safemode get	#查看dfs的安全模式状态


#2.仅Maser端启动hadoop
	cd /home/test/install/hadoop-2.6.0-cdh5.14.0	#就是你输入：echo $HADOOP_HOME的地址

	sbin/start-all.sh	#启动所有结点,#$HADOOP_HOME/sbin/stop-all.sh关闭hadoop所有结点

	#2.3启动jobhistory
	sbin/mr-jobhistory-daemon.sh start historyserver

	#查看结点运行状态
	hdfs dfsadmin -report	

#3.三个服务器都要启动zookeeper[下面指令都在同一个目录]
	#3.1进入，zookeeper的bin目录
	cd /home/test/install/zookeeper-3.4.5-cdh5.14.0/bin

	#3.2三个服务器端都要启动服务
	./zkServer.sh start	#./zkServer.sh stop该命令用于关闭zookeeper服务


	#3.3一定得所有zookeeper服务都显示“started”后,查看zookeeper状态[每个服务器都要看一下]
	./zkServer.sh status	#！！！一定得所有zookeeper服务都显示“started”后，才能输入

启动hbase

1.(仅Master端)启动hbase进程

#4.上述都正常启动后，Master端
	cd /home/test/install/hbase-1.2.0-cdh5.14.0/bin/
	
	#4.1启动
	start-hbase.sh	#若出现停顿，则敲一下回车,如果没提示让你输入密码，则输入此命令再启动一次
	./hbase-daemon.sh start regionserver RegionServer

	hbase-daemon.sh start thrift	#启东thrift，服务于hue

	#4.2查看状态，会出现“HMaster”与“HRegionServer”
	jps	#若，HMaster未出现，则再次stop Hbase，之后再重启

	#4.3进入hbase shell编辑
	hbase shell
	status	#查看状态

	#停止，Master端
	cd /home/test/install/hbase-1.2.0-cdh5.14.0/bin

	stop-hbase.sh
	./hbase-daemon.sh stop regionserver RegionServer

【结果】
在这里插入图片描述
在这里插入图片描述

2.启动hbase的WebUI

在这里插入图片描述

问题Bugs描述

【问题-1】master: Connection closed by 172.16.1.8 port 22

在这里插入图片描述
在这里插入图片描述
【思路一】：检查软件兼容性，如果不符合的话就重配吧
【思路二】：软件兼容性没问题,尝试修正hbase-site.xml增加配置

	#进入自己的hbase配置所在目录
	cd /home/test/install/hbase-1.5.0/conf

	vim hbase-site.xml
	
	#检查各机器的hbase-site.xml中是否有，下面代码块
	<property>
		<name>hbase.unsafe.stream.capability.enforce</name>
		<value>false</value>
	</property>
	
	#重新启动hbase服务
	cd /home/test/install/hbase-1.5.0	#自己安装hbase目录
	start-hbase.sh

【问题-2】Hbase启动时，不让输入master密码，提示：“password: master: Permission denied, please try again.”

在这里插入图片描述
【思路】：关闭hbase服务，重新开始启动hbase
在这里插入图片描述

【问题-3】卸载原有版本的hbase且安装新的匹配hbase版本后，启动hbase提示：java.io.FileNotFoundException: /home/test/install/hbase-2.2.3/lib/hadoop-common-2.8.5.jar (No such file or directory)

在这里插入图片描述
【思路】：检查对应的文件夹下是否，依旧保留之前安装的软件目录(必须确保自己是否删除完全)，若确认完全删除，则在此开启hbase即可

	#重新启动hbase服务
	cd /home/test/install/hbase-1.5.0	#自己安装hbase目录
	start-hbase.sh

【问题-3】Hbase启动后，自动关闭，查看log提示：“org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.”

在这里插入图片描述
【思路】：dataNote未开启，查看对应log目录，提示：java.io.IOException: Incompatible clusterIDs in /home/test/install/hadoop-2.6.0-cdh5.14.0/tmp/dfs/data: namenode clusterID = CID-cc481aad-2549-44db-8ad6-928dd3c27c69; datanode clusterID = CID-6d41bb77-6129-44b1-94b9-9fb0fa0fc817(实际操作方法·链接)
在这里插入图片描述
在这里插入图片描述

【问题-4】Hmaster启动失败，提示“HBase file layout needs to be upgraded. You have version null and I want version 8.”


【问题-5】出现“HBase 创建表已经存在，删除表又不存在的问题”

系'辞
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阿里云安装单机hbase
congge
01-05 3072
阿里云安装单机hbase
阿里云部署Hbase集群
weixin_33913332的博客
04-10 342
安装环境 主机 ip 操作系统 master 10.30.45.239 centos7.4 slave1 10.31.155.33 centos7.4 slave2 10.81.233.67 centos7.4 阿里云3台ecs搭建一个小型的hbase分布式数据存储（这里的ip都是内网...
阿里云 Ubuntu 安装HBase
UncleDong的博客
06-17 234
文章目录1. 下载HBase2. 解压并运行 1. 下载HBase 首先去官网http://archive.apache.org/dist/hbase/下载HBase, 我下载的版本是1.3.1。下载完毕后使用WinSCP或别的工具，将压缩包上传到云服务器上。 2. 解压并运行 使用xshell等工具连接服务器，在命令行下移动到hbase-1.3.1-bin.tar.gz所在的目录，并解压到你想要安装的目录。 tar -zxvf hbase-1.3.1-bin.tar.gz -C 你的目录 在启动之前，
阿里云服务器ECS搭建hadoop集群
qq_34785659的博客
05-21 3567
参考了这篇文章，并在此基础上加以修改： 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建 在此感谢这位大佬 1.准备： 两台配置CentOS 7.3的阿里云ECS服务器； Hadoop：hadoop-2.7.3.tar.gz使用迅雷下载比较快 Java: 这里直接从云服务器上下载就好 2.修改hostname： 更改主机名： 由于系统为CentOS 7，可以直接使用 hostnamectl set-hostname master 主节点设置为master，maste
阿里云 和 腾讯云 跨服务器搭建HBase集群
鲨鱼辣椒的博客
10-10 326
1、首先需要准备和启动hadoop环境和zookeeper环境，可以参考下面俩个教程 搭建hadoop集群 搭建zookeeper集群 2、下载HBase HBase下载地址，我用的是1.3.1 解压 3、解压好后进入hbase目录 4、进入conf目录，修改regionservers 5、修改hbase-env.sh, 第一个修改jdk地址，第二个把注释打开修改成fasle，使用自己的zk 6、修改HBase-site.xml <configuration> <proper
在阿里云服务器上利用 Docker 搭建 Hadoop 集群
01-07
Docker 安装与配置 安装 Docker（摘自 Docker 官方文档） 设置 Docker Repository 更新软件索引$ sudo apt-get update 安装一些必要的包 $ sudo apt-get install \ apt-transport-https \ ca-certificates \ ...
docker 搭建hadoop以及hbase集群详解
01-09
要用docker搭建集群，首先需要构造集群所需...使用ubuntu14系统来安装hadoop和hbase，由于hadoop集群机器之间通过ssh通信，所以需要在ubuntu14系统中安装ssh服务。 编写Dockerfile如下: ###########################
Hadoop集群搭建-完全分布式
01-07
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门，如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置：hadoop-env.sh（hadoop运行环境...
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解
11-10
### Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境详解 #### 一、环境说明与理解 - **环境概述**：文档介绍了如何通过Hadoop、HBase以及ZooKeeper来构建一个分布式的集群环境。这种环境主要用于处理大...
【Hadoop离线基础总结】完全分布式环境搭建
01-07
完全分布式环境搭建 服务规划 适用于工作当中正式环境搭建 安装步骤 第一步：安装包解压 停止之前的Hadoop集群的所有服务，并删除所有机器的Hadoop安装包，然后重新解压Hadoop压缩包 三台机器都执行 rm -rf /...
ECS服务器搭建hadoop伪分布式
CBeann的博客
01-18 1937
前提准备 1）阿里云ECS服务器Centos7.5 2）Xshell或者其他和Linux交互的软件（本文用的Bitvise SSH软件） 我用的是Bitvise SSH Bitvise SSH下载 Bitvise SSH使用 里面有讲SSH软件怎么用 3）最好会vim操作（不会也没问题） 不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件 4）hadoo...
阿里云配置hadoop(本地(单机配置),伪分布)jdk1.8+hadoop2.9
qq_40518779的博客
06-19 334
全程root用户操作 一、准备工作 1.安装jdk 可以参考:https://blog.csdn.net/qq_29244221/article/details/80403772 记得设置jdk环境变量 2.安装hadoop （一）下载Hadoop wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz （二）解压 wget默认下载到登陆路径~也就是/home/user，
【教程】【安装搭建】大数据伪分布式搭建HBase（Win10+ECS+putty+FileZilla)
葑鈊丶
04-02 460
前言 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。本文是在【教程】【环境搭建】大数据伪分布式搭建Hadoop（Win10+ECS+putty+FileZilla)这篇博客的基础环境上继搭建的。安装HBase是要先装好Hadoop的。 解压缩HBase安装文件 1.解压缩 （1）进入te...
阿里云轻量型服务器在 Hadoop2.7.x 伪分布式环境下安装配置 HBASE1.2.x
qq_44880708的博客
11-06 317
阿里云轻量级服务器在Hadoop2.7.3环境下配置HBASE1.2.4HBASE简介HBASE下载与解压修改HBASE配置文件配置环境变量小结 HBASE简介 HBASE下载与解压 下载地址：https://archive.apache.org/dist/hbase/1.2.4/hbase-1.2.4-bin.tar.gz HBASE各版本地址：https://archive.apache.or...
阿里云Centos7.3上 Hadoop-2.7.6集群的搭建（ok!!!）
zhangvalue的博客
06-30 2082
采取的是两台阿里云服务器搭建集群1、首先进行的是ssh免密码登录的操作具体操作在上篇笔记中找 里面有2、配置Java环境具体操作上篇笔记中详细记录3、下载Hadoop2.7.2，并进行安装配置环境我是创建文件放在opt/soft文件夹下面，直接打开该文件夹，进行下载wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.6/had...
阿里云ECS7安装搭建：hbase1.3.3分布式集群
alan_liuyue的博客
05-16 689
简介 Apache HBase是一种Key/Value系统，它运行在HDFS之上。和Hive不一样，Hbase的能够在它的数据库上实时运行，而不是运行MapReduce任务； Hbase适合用来进行大数据的实时查询，支持增删查改，但不支持复杂的统计功能，统计功能一般使用Hive； 安装HBase分布式集群所需的前提环境： Zookeeper集群：可自行搭建一个zookeeper集群，同时也可...
阿里云ECS服务器下Hbase安装配置
scanklm的专栏
10-14 1240
1.下载解压安装文件 1、访问http://mirror.bit.edu.cn/apache/hbase/stable/，下载hbase包 2、linux下执行指令：wget http://mirror.bit.edu.cn/apache/hbase/stable/hbase-1.4.10-bin.tar.gz 3、解压：tar -xzvfhbase-1....
阿里云服务器上HBase环境配置及基本操作命令实践（含Zookeeper安装）
Clearlove灬Star
04-09 1101
JDK及Hadoop等环境同https://blog.csdn.net/weixin_42047699/article/details/89157347 一、安装Zookeeper 1.到官网下载Zookeeper压缩包，本实验下载的为zookeeper-3.4.9版本。 2.在h1用户目录下新建Zookeeper文件夹，并将下载好的压缩包解压缩到Zookeeper文件夹中。 3.切换到Zooke...
在阿里云服务器上搭建hadoop环境
catinlbb的博客
11-29 4106
文章目录1. 登入云端服务器2. 安装JDK5. 配置SSH免密登录6. 启动Hadoop   购买了阿里云服务器，这里搭建hadoop环境的过程都是按照官网的提供的步骤。这里对我自己按照这个步骤的一个安装过程做一个记录。 1. 登入云端服务器 要找到服务器的公网ip，然后用ssh登入就可以了。我这里遇到了一个问题就是，在windows下，用secureCRT登入的时候，总是报“密钥交换”相关的错误，仔细看了一下，是secureCRT没有服务器所支持的密钥交换的算法。 我重新安装了一个secureCRT之后
阿里云服务器CentOS 7.2搭建Hadoop伪分布式环境指南
本文档详细介绍了如何在阿里云服务器上的CentOS 7.2环境中搭建Hadoop的伪分布式环境，以便于学习和调试。首先，我们明确了Hadoop的作用，它是Apache基金会开发的分布式系统基础架构，特别适用于处理大规模数据集和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值