hbase-1.2.6完全分布式安装

最新推荐文章于 2022-07-25 15:51:23 发布
最新推荐文章于 2022-07-25 15:51:23 发布
阅读量553 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sd__dreamer/article/details/77770992
版权

hbase-1.2.6完全分布式安装

1. 安装环境

  • 软件环境
    ubuntu14.04, hadoop2.7.4, hbase1.2.6, zookeeper3.4.1
  • hadoop 集群环境
    一台主机名为”hadoop-master”的作为master，另外三台主机名为”hadoop-slave1”，”hadoop-slave2”和”hadoop-slave3”,作为slave。

2. 完全分布式安装

2.1 安装准备

分别从hbase官网和zookeeper官网下载hbase以及zookeeper，并将其解压到hadoop-master主机的/user/local/文件夹中，并分别重命名：

ssh hadoop@hadoop-master
cd /usr/local/

sudo tar zxvf hbase-1.2.6-bin.tar.gz -C ./
sudo mv hbase-1.2.6 hbase
sudo chmod -R a+w hbase

sudo tar zxvf zookeeper-3.4.10.tar.gz -C ./
sudo mv zookeeper-3.4.10 zookeeper
sudo chmod -R a+w zookeeper

2. 2 在Hadoop-master上配置Hbase

# config hbase in fully cluster mode
ssh hadoop@hadoop-master
cd /usr/local/hbase
# 1. config java env
echo "export JAVA_HOME=/usr/local/jdk1.8.0_144" >> conf/hbase-env.sh

# 2. config regionserver
#首先需要删除 conf/regionservers中的"localhost" ，然后执行：
echo "hadoop-slave1" >> conf/regionservers
echo "hadoop-slave2" >> conf/regionservers
echo "hadoop-slave3" >> conf/regionservers


# 3. config backup master, create file conf/backup-masters
sudo vim conf/backup-masters #add "hadoop-slave2" to  backup-masters file

# 4. config hbase
edit conf/hbase-site.xml, add the folloing contents:
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.rootdir</name>
  <value>hdfs://hadoop-master:9000/hbase</value>
</property>

# 5. Configure ZooKeeper
edit conf/hbase-site.xml, add the folloing contents:
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hadoop-master,hadoop-slave1,hadoop-slave2,hadoop-slave3</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/usr/local/zookeeper</value>
</property>

2.3 在hadoop-slave1,2,3上配置hbase

# copy hbase and zookeeper to hadoop-slave1,2,3
sudo tar zcvf hbase.tar.gz ./hbase
sudo tar zcvf zookeeper.tar.gz ./zookeeper

# hadoop-slave1 as an example
ssh hadoop-slave1
su root
cd /usr/local/
scp hadoop@hadoop-master:/usr/local/hbase.tar.gz ./
sudo tar zxvf hbase.tar.gz -C ./
scp hadoop@hadoop-master:/usr/local/zookeeper.tar.gz ./
sudo tar zxvf zookeeper.tar.gz -C ./
rm *.tar.gz

3. 启动hbase服务

ssh hadoop@hadoop-master
cd /usr/local/hbase
./bin/start-hbase.sh

4. 测试安装是否成功

# 查看hdfs上的hbase文件夹中是否有内容
hadoop fs -ls /hbase
# 或者
hadoop fs -ls hdfs://hadoop-master:9000/hbase
# 进入hbase命令行
bin/hbase shell
# 创建表“test”
create 'test','cf' # create a table - test
# list “test”表信息
list 'test' 
# 往表中添加数据
put 'test', 'row1', 'cf:a', 'value1' 
put 'test', 'row2', 'cf:b', 'value2' 
put 'test', 'row3', 'cf:c', 'value3' 
# 查询“test”表所有数据
scan 'test' 
# 删除表test
drop 'test'

5. 遇到的问题及解决方法

5.1 问题1

问题：java.net.ConnectException: Connection refused;

java.net.ConnectException: Call From hadoop-master/172.17.0.2 to localhost:50090 failed on connection exception: java.net.ConnectException: Conn
ection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:783)
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:730)
    at org.apache.hadoop.ipc.Client.call(Client.java:1415)
    at org.apache.hadoop.ipc.Client.call(Client.java:1364)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
    at com.sun.proxy.$Proxy15.setSafeMode(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
    at com.sun.proxy.$Proxy15.setSafeMode(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.setSafeMode(ClientNamenodeProtocolTranslatorPB.java:602)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.hbase.fs.HFileSystem$1.invoke(HFileSystem.java:279)
    at com.sun.proxy.$Proxy16.setSafeMode(Unknown Source)
    at org.apache.hadoop.hdfs.DFSClient.setSafeMode(DFSClient.java:2264)
    at org.apache.hadoop.hdfs.DistributedFileSystem.setSafeMode(DistributedFileSystem.java:986)
    at org.apache.hadoop.hdfs.DistributedFileSystem.setSafeMode(DistributedFileSystem.java:970)
    at org.apache.hadoop.hbase.util.FSUtils.isInSafeMode(FSUtils.java:525)
    at org.apache.hadoop.hbase.util.FSUtils.waitOnSafeMode(FSUtils.java:971)
    at org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:429)
    at org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:153)
    at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:128)
    at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:693)
    at org.apache.hadoop.hbase.master.HMaster.access$600(HMaster.java:189)
    at org.apache.hadoop.hbase.master.HMaster$2.run(HMaster.java:1803)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:529)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:493)
    at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:606)
    at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:700)
    at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:367)
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1463)
    at org.apache.hadoop.ipc.Client.call(Client.java:1382)
    ... 29 more

解决方法

在hbase的根目录中，修改conf/hbase-site.xml。
修改之前的：

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://localhost:50090/hbase</value>
</property>

修改之后的：

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://hadoop-master:50090/hbase</value>
</property>

5.2 问题2

问题：com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.

java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match
 expected tag.; Host Details : local host is: "hadoop-master/172.17.0.2"; destination host is: "hadoop-master":50090; 
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)
    at org.apache.hadoop.ipc.Client.call(Client.java:1415)
    at org.apache.hadoop.ipc.Client.call(Client.java:1364)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
    at com.sun.proxy.$Proxy15.setSafeMode(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
    at com.sun.proxy.$Proxy15.setSafeMode(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.setSafeMode(ClientNamenodeProtocolTranslatorPB.java:602)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.hbase.fs.HFileSystem$1.invoke(HFileSystem.java:279)
    at com.sun.proxy.$Proxy16.setSafeMode(Unknown Source)
    at org.apache.hadoop.hdfs.DFSClient.setSafeMode(DFSClient.java:2264)
    at org.apache.hadoop.hdfs.DistributedFileSystem.setSafeMode(DistributedFileSystem.java:986)
    at org.apache.hadoop.hdfs.DistributedFileSystem.setSafeMode(DistributedFileSystem.java:970)
    at org.apache.hadoop.hbase.util.FSUtils.isInSafeMode(FSUtils.java:525)
    at org.apache.hadoop.hbase.util.FSUtils.waitOnSafeMode(FSUtils.java:971)
    at org.apache.hadoop.hbase.master.MasterFileSystem.checkRootDir(MasterFileSystem.java:429)
    at org.apache.hadoop.hbase.master.MasterFileSystem.createInitialFileSystemLayout(MasterFileSystem.java:153)
    at org.apache.hadoop.hbase.master.MasterFileSystem.<init>(MasterFileSystem.java:128)
    at org.apache.hadoop.hbase.master.HMaster.finishActiveMasterInitialization(HMaster.java:693)
    at org.apache.hadoop.hbase.master.HMaster.access$600(HMaster.java:189)
    at org.apache.hadoop.hbase.master.HMaster$2.run(HMaster.java:1803)
    at java.lang.Thread.run(Thread.java:748)
Caused by: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.
    at com.google.protobuf.InvalidProtocolBufferException.invalidEndTag(InvalidProtocolBufferException.java:94)
    at com.google.protobuf.CodedInputStream.checkLastTagWas(CodedInputStream.java:124)
    at com.google.protobuf.AbstractParser.parsePartialFrom(AbstractParser.java:202)
    at com.google.protobuf.AbstractParser.parsePartialDelimitedFrom(AbstractParser.java:241)
    at com.google.protobuf.AbstractParser.parseDelimitedFrom(AbstractParser.java:253)
    at com.google.protobuf.AbstractParser.parseDelimitedFrom(AbstractParser.java:259)
    at com.google.protobuf.AbstractParser.parseDelimitedFrom(AbstractParser.java:49)
    at org.apache.hadoop.ipc.protobuf.RpcHeaderProtos$RpcResponseHeaderProto.parseDelimitedFrom(RpcHeaderProtos.java:2364)
    at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:1056)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:950)

解决方法

这是由于hdfs的路径有误，首先通过下面命令，查询hdfs的路径，我这边得到的结果为“hdfs://hadoop-master:9000”

hdfs getconf -confKey fs.default.name

在hbase的根目录中，修改conf/hbase-site.xml中的hdfs的路径：
修改之前的：

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://hadoop-master:50090/hbase</value>
</property>

修改之后的：

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://hadoop-master:9000/hbase</value>
</property>
sd__dreamer
关注
Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署
FREEDOM
01-29 329
Hadoop安装部署基本步骤： 其他HBASE配置说明请看：https://www.cnblogs.com/judylucky/p/5692147.html 需要把配置好的hbase 复制到其他节点的相同目录下 1、安装jdk，配置环境变量。 jdk可以去网上自行下载，环境变量如下： 编辑 vim /etc/profile 文件，添加如下内容： ...
Hbase伪分布部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-26 3161
本实验任务主要完成基于ubuntu环境的Hbase伪分布部署的工作。通过完成本实验任务，要求学生熟练掌握Hbase伪分布部署的方法，为后续实验的开展奠定Hbase平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase伪分布部署Ubuntu、Hadoop2.7.3、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统“。就像Bigtab
hbase-1.2.6-bin.tar.gz
11-01
hbase-1.2.6-bin.tar.gz
HBase分布式安装
BlueSky
03-02 1078
说明 对于HBase与Hadoop版本要选择相对应的（否则会出很多问题），具体对应版本可参考：         本次集群对应版本为：Hadoop-2.7.2 + HBase-1.2.0 安装： 第一步：依赖环境 主要有Java、Hadoop、zookeeper HBase分布式下安装，则需首先安装hdfs也即使安装hadoop，对于zookeeper可以选择不安装（不安装的话就是用hb
HBase完全分布式搭建
SunnyRivers
04-30 3332
节点分布情况    （这里把HMaster和NameNode搭建在一个节点，但是实际开发中，别这样做） 前提条件（每个节点） （1）Java环境变量 （2）时间同步 （3）主从免秘钥 （4）启动hadoop   1. 配置hbase-site.xml &lt;configuration&gt;         &lt;property&gt;                ...
Hbase分布式安装
wenhaoran的博客
03-15 226
文章目录一、解压安装Hbase并配置环境变量二、配置Hbase 注：hbase和hadoop存在版本依赖关系，所有安装之前请先确定好hbase和hadoop是否支持 1.0.x版本的hbase的master web 默认是不运行的，所以需要自己配置默认端口。 一、解压安装Hbase并配置环境变量 将Hbase安装包解压到目录下，然后设置环境变量 # 在 /etc/profile 文件末尾添加如下内容 export HBASE_HOME=/root/software/hbase export PATH=$
HBASE分布式安装
邢宁
01-16 1074
一、安装前提 1、HBase 依赖于 HDFS 做底层的数据存储 2、HBase 依赖于 MapReduce 做数据计算 3、HBase 依赖于 ZooKeeper 做服务协调 4、HBase源码是java编写的，安装需要依赖JDK 5、zookeeper和hdfs安装可以参考 hdfs分布式安装 二、HBase的集群安装 1、解压安装包 #下载 wget http://archive.apache.org/dist/hbase/1.2.6/hbase-1.2.6-bin.tar.gz #解压到指定目录
hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程
03-16
hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程 hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程 hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程
HBase之完全分布式
yandao的博客
06-12 949
hbase 分布式
hbase-1.2.6
10-24
hbase-1.2.6，解压是tar包
hbase-1.2.6-bin+src.tar.rar
10-06
hbase-1.2.6-bin+src.tar.rar 配合教程详见博客https://blog.csdn.net/haobindayi/article/details/82948123
hbase 分布式安装
eyeofeagle的博客
07-25 558
hbase分布式安装。
HBase 完全分布式的安装
03-09 1461
HBase 的（伪）分布式安装 在伪分布安装中，我们将hbase-env.sh的最后一行解注释export HBASE_MANAGES_ZK=true，配置文件关于这一条语句的解释是Tell HBase whether it should manage it's own instance of Zookeeper or not.，也即HBase是否拥有自己的ZooKeeper实例。如果允许的话，一般
HBase之完全分布式安装
LiuY521的博客
07-09 712
HBase完全分布式安装 目录 HBase完全分布式安装 1.下载到服务器 2.下载解压 3.修改conf/hbase-env.sh 4.#修改JAVA_HOME：export JAVA_HOME=xxxx 5.#修改Zookeeper和Hbase的协调模式， 6.保存，...
hbase分布式安装及配置
奋斗的小鸟专栏
09-06 2298
hbase分布式安装及配置
HBase分布式安装部署
weixin_50198333的博客
08-27 154
集群规划 安装目录：/opt目录下 安装版本：hbase-1.1.5.tar.gz 下载地址：http://archive.apache.org/dist/hbase 安装配置 0.Hadoop集群 Hadoop分布式HA安装部署 1.解压 tar -zxvf soft/hbase-1.1.5-bin.tar.gz 2.重命名 mv hbase-1.1.5/ hbase 3.配置环境变量 vim /etc/profile.d/hadoop-eco.sh 添加以下内容 export HBASE_HOME
Hadoop2.7.5与HBase1.2.6伪分布式安装教程
本文档详细介绍了如何在本地机器上进行Hadoop 2.7.5与HBase 1.2.6的伪分布式安装过程。首先，安装所需的软件环境包括Java 1.8.0_161，因为Hadoop依赖于Java运行。以下是安装步骤： 1. 安装Java: - 下载并解压JDK...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值