hbase集群安装

最新推荐文章于 2023-03-31 16:48:19 发布
最新推荐文章于 2023-03-31 16:48:19 发布
阅读量595 收藏 2
点赞数
分类专栏： Hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wyl9527/article/details/72598076
版权

1.基本信息

版本1.2.4
安装机器三台机器
账号hadoop
源路径/opt/software/hbase-1.2.4-bin.tar.gz
目标路径

/opt/hbase -> /opt/hbase-1.2.4

依赖关系zookeeper  hadoop

2.安装过程

1).使用hadoop账号解压到/opt目录下并设置软连接：

[root@bgs-5p173-wangwenting opt]# su hadoop
[hadoop@bgs-5p173-wangwenting opt]$ cd /opt/software
[hadoop@bgs-5p173-wangwenting software]$ tar -zxvf hbase-${version}-bin.tar.gz -C /opt
[hadoop@bgs-5p173-wangwenting software]$ cd /opt
[hadoop@bgs-5p173-wangwenting opt]$ ln -s  hbase-${version}/   hbase

2).进入/opt/hbase/conf目录,修改hbase-env.sh文件内容:

[hadoop@bgs-5p173-wangwenting opt]$ cd /opt/hbase/conf
[hadoop@bgs-5p173-wangwenting opt]$ vim hbase-env.sh
export JAVA_HOME=/opt/java
export HBASE_MANAGES_ZK=false   #不适用hbase自带的zookeeper，所以这里设置false。

# Configure PermSize. Only needed in JDK7. You can safely remove it for JDK8+  
# jdk1.8的可以注释下面2行
#export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"
#export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS -XX:PermSize=128m -XX:MaxPermSize=128m"

一个分布式运行的HBase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下HBase会管理一个zookeep集群。这个集群会随着HBase的启动而启动。当然，你也可以自己管理一个zookeeper集群，但需要配置HBase。你需要修改conf/hbase-env.sh里面的HBASE_MANAGES_ZK 来切换。这个值默认是true的，作用是让HBase启动的时候同时也启动zookeeper。

让HBase使用一个已有的不被HBase托管的Zookeep集群，需要设置 conf/hbase-env.sh文件中的HBASE_MANAGES_ZK 属性为 false，如果我们已经部署过zookeeper集群，那么我们可以不使用hbase自带的zk集群。

3).修改hbase-site.xml文件内容:

[hadoop@bgs-5p173-wangwenting opt]$ vim hbase-site.xml
添加下面内容
<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://bgs-5p173-wangwenting:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>bgs-5p173-wangwenting,bgs-5p174-wangwenting,bgs-5p175-wangwenting</value>
    </property>
    
   <property>   
        <name>hbase.zookeeper.property.dataDir</name>
	    <value>/opt/zookeeper/data</value>
    </property>

</configuration>

线上hbase配置内容：

[hadoop@namenode2 conf]$ vim hbase-site.xml
<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://abfdhadoop/hbase</value>
        <description>这个目录是region server的共享目录，用来持久化HBase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目录，需要设置为hdfs://example1:8020/hbase。默认情况下HBase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。</description>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
        <description>HBase的运行模式。false是单机模式，true是分布式模式。若为false,HBase和Zookeeper会运行在同一个JVM里面。</description>
    </property>
     <property>
        <name>hbase.fs.tmp.dir</name>
        <value>/user/${user.name}/hbase-staging</value>
    </property>
     <property>
         <name>hbase.tmp.dir</name>
         <value>/opt/hbase/tmp-dir</value>
         <description>本地文件系统的临时文件夹。可以修改到一个更为持久的目录上。(/tmp会在重启时清除)</description>
     </property>
     <property>
        <name>hbase.local.dir</name>
        <value>${hbase.tmp.dir}/local/</value>
     </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>kafzook2.abfd,kafzook3.abfd,kafzook4.abfd,kafzook5.abfd,kafzook6.abfd</value>
        <description> Zookeeper集群的地址列表，用逗号分割。例如："host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这些ZooKeeper节点就会和HBase一起启动。一般情况下我们会将HBASE_MANAGES_ZK设置为false.</description>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
        <description>ZooKeeper的zoo.conf中的配置。 客户端连接的端口</description>
    </property>
     
    <property>
        <name>hbase.client.scanner.timeout.period</name>
        <value>1200000</value>
    </property>
 
    <property>
        <name>hbase.rpc.timeout</name>
        <value>1200000</value>
    </property>
     
    <property>
        <name>zookeeper.session.timeout</name>
        <value>1200000</value>
        <description> ZooKeeper 会话超时.HBase把这个值传递改zk集群，向他推荐一个会话的最大超时时间</description>
    </property>
 
    <property>
        <name>hbase.hregion.max.filesize</name>
        <value>53687091200</value>
      <description>最大HStoreFile大小。若某个列族的HStoreFile增长达到这个值，这个Hegion会被切割成两个。 默认: 10G,上面我们选择50G</description>
    </property>
    
   <property>
       <name>hbase.regionserver.handler.count</name>
       <value>60</value>
       <description>RegionServers受理的RPC Server实例数量。对于Master来说，这个属性是Master受理的handler数量</description>
   </property>
     
    <property>
       <name>hbase.column.max.version</name>
       <value>3</value>
    </property>
 
   <property>
      <name>hbase.region.replica.replication.enabled</name>
      <value>true</value>
   </property>
   
   <property>
      <name>hbase.regionserver.executor.openregion.threads</name>
      <value>100</value>
   </property> 
 
  <!-- balance -->
    <property>
        <name>hbase.balancer.period</name>
        <value>300000</value>
    </property>
 
   <!-- major compaction -->
    <property>
        <name>hbase.hregion.majorcompaction</name>
        <value>0</value>
        <description>majorcompaction的执行周期,如果设置成0的话表示关闭自动的compact,关闭自动的compact,写程序定时手工compact</description>
    </property>
 
  <property>
      <name>hbase.hregion.memstore.block.multiplier</name>
      <value>8</value>
      <description>如果memstore缓存的内容大小超过flush.size的值的2倍的时候，会进行flush</description>
  </property>
   
  <property>
     <name>hbase.hstore.flusher.count</name>
     <value>16</value>
  </property>
 
  <property>
     <name>hbase.regionserver.thread.compaction.small</name>
     <value>8</value>
  </property>
 
</configuration>

4).修改/opt/hbase/conf/regionservers文件内容: 

[hadoop@bgs-5p173-wangwenting opt]$ vim /opt/hbase/conf/regionservers
添加以下内容：
bgs-5p174-wangwenting
bgs-5p175-wangwenting

5).通过scp复制到其它两台机器上:

[hadoop@bgs-5p173-wangwenting opt]$ scp -r /opt/hbase-${version} hadoop@bgs-5p174-wangwenting:/opt
[hadoop@bgs-5p174-wangwenting opt]$ ln -s hbase-${version}/  hbase
[hadoop@bgs-5p173-wangwenting opt]$ scp -r /opt/hbase-${version} hadoop@bgs-5p175-wangwenting:/opt
[hadoop@bgs-5p175-wangwenting opt]$ ln -s hbase-${version}/  hbase

6).在bgs-5p173-wangwenting上启动hbase集群:

[hadoop@bgs-5p173-wangwenting opt]$ /opt/hbase/bin/start-hbase.sh

7).查看集群是否启动，运行jps

 

[hadoop@bgs-5p173-wangwenting opt]$ jps
若bgs-5p173-wangwenting如下所示：
22898 ResourceManager
20739 Jps
24383 JobHistoryServer
20286 HMaster
22722 SecondaryNameNode
22488 NameNode
[hadoop@bgs-5p174-wangwenting opt]$ jps
2141 NodeManager
3257 HRegionServer
25283 Jps
1841 DataNode
[hadoop@bgs-5p175-wangwenting opt]$ jps
2141 NodeManager
3257 HRegionServer
25283 Jps
1841 DataNode

显示有HMaster和HRegionServer,则说明启动成功

8).使用/opt/hbase/bin/hbase shell命令测试安装结果:

[hadoop@bgs-5p173-wangwenting opt]$ /opt/hbase/bin/hbase shell

a.创建表test: 

 

hbase(main):002:0> create "test", "cf"
0 row(s) in 2.5840 seconds
=> Hbase::Table - test

b.列出全部表:

hbase(main):003:0> list
TABLE                                                                                                              
test                      
1 row(s) in 0.0310 seconds
=> ["test"]

启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程，但是进入到HBase的shell，执行一个命令，会出现下面的错误：

解决方法：

进入到logs目录查看master的日志：发现一直显示下面的内容：

[hadoop@s1 logs]$ vim hbase-hadoop-master-是.log

 

2017-03-13 17:13:17,374 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:13:27,377 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:13:37,386 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:13:47,393 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:13:57,395 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...
2017-03-13 17:14:07,409 INFO org.apache.hadoop.hbase.util.FSUtils: Waiting for dfs to exit safe mode...

原来是Hadoop在刚启动的时候，还处在安全模式造成的,手动退出Hadoop的安全模式.然后重新启动hbase服务。

重启后输入list，便不再报错了。

 

c.插入数据到test表:

hbase(main):001:0> put "test","row","cf:a","value"
0 row(s) in 0.4150 seconds

 

d.查看test表信息:

 

hbase(main):002:0> scan 'test'
ROW           COLUMN+CELL                                                                         
row          column=cf:a, timestamp=1447246157917, value=value                                   
1 row(s) in 0.0270 seconds

若hbase shell测试成功，则进入浏览器访问以下网址:http://172.24.5.173:16010/，

若正常显示，则hbase集群安装成功!  用ip保险一点，用域名首先要在自己的电脑host文件中配置。

9).启动thriftserver2服务

[hadoop@bgs-5p173-wangwenting opt]$ nohup /opt/hbase/bin/hbase-daemon.sh start thrift2 &

wyl9527
关注
专栏目录
（超详细）Hbase集群安装
数据爬坡ing的博客
01-07 707
（超详细）Hbase集群安装，附有详细代码，和详细步骤，注意事项
HBASE集群版安装hbase-1.1.6
qq_44840515的博客
06-14 159
前言：在安装hbase集群版之前要确保本机有Hadoop集群（一定要），zookeeper集群（也可以没有） 学个鸡毛，来把农药压压惊。 一、配置 解压安装 将hbase-1.1.6-bin.tar.gz安装包解压安装到/usr/local目录下 tar -zvxf hbase hbase-1.1.6-bin.tar.gz -C /usr/local 解压后/usr/local下会出现hbase1.1.6文件 在hbase1.1.6创建tmp目录 mkdir tmp 用来做HBase 临
一、HBase集群安装
风子的博客
06-03 415
一、环境介绍 hbase数据存储在hadoop所以需要在hadoop集群上运行，同时需要zookeeper选举mater，存放元数据以及监控HRegionServer节点，所以安装hbase前需要先安装hadoop与zk hadoop集群搭建：https://blog.csdn.net/qq_35241080/article/details/105850607 zk集群搭建：https://blog.csdn.net/qq_35241080/article/details/105988912 这里搭建三台h
Hbase集群安装
weixin_44870066的博客
05-06 1200
1、根据hadoop的版本选择合适的hbase版本，可参照下图 本机安装的hadoop3.1.3所以选择HBASE版本为2.0.5 2、将hbase上传到/opt/software/文件目录，使用tart -zxvf命令解压到opt/module/中 [xiong@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 3、为了后期方面查看版本号，将解压后的文件修改为hbase-版本号，如hbase-2.0.5。在root权限下
HBase集群安装教程
程天爽的博客
06-29 612
HBase2.4.8版本环境配置
hbase集群安装配置.docx
11-27
高可用hbase安装，包括基本环境处理、安装zookeeper、安装hadoop、安装hbase整个过程
HBASE集群安装
weixin_37536020的博客
05-26 170
环境准备：CentOS Zookeeper JDK HBASE
hadoop+hbase集群安装
08-10
### Hadoop + HBase 集群安装方法详解 #### 一、概述 本文将详细介绍如何搭建一个基于Hadoop和HBase的分布式集群环境。在实际应用中，Hadoop主要负责处理大规模数据集的存储与计算任务，而HBase则是在Hadoop之上...
安装HBase集群
make_progress的博客
11-01 1225
注：我的Hadoop环境已经安装完成。
Hbase分布式集群安装
Joker_Jiang3的博客
01-07 554
Hbase分布式集群安装
HBase高可用集群的安装
~~~的博客
05-05 604
1、HBase基本安装配置 该项的所有操作步骤使用专门用于集群的用户admin进行 此项只在一台主机操作，然后在下一步骤进行同步安装与配置 首先，HBase软件包“hbase-1.2.3-bin.tar.gz”已上传到家目录的“setups”目录下，然后进行解压和环境变量设置 命令：mkdir ~/hbase #创建用于存放HBase相关文件的目录 、cd ~/hbase ...
Hbase 集群的安装部署
最新发布
qq_48391148的博客
03-31 738
hbase集群安装部署
HBase集群安装
静心
11-29 974
一、HBase解压 HBase官网下载二进制压缩包，本教程中解压到如下目录 二、HBase环境变量设置 环境变量设置如下： 三、hbase-env.sh文件修改          hbase-env.sh中加入export  JAVA_HOME exportHBASE_CLASSPATH如下： 四、hbase-site.xml
基于集群的HBase安装和配置
02-08
### 基于集群的HBase安装和配置 #### Zookeeper简介 Zookeeper作为Hadoop生态中的关键组件，主要用于...通过上述步骤，可以成功地在已有Hadoop集群的基础上搭建起HBase集群，实现大数据环境下的高效数据存储与管理。
Windows下安装HBase
热门推荐
helloworld的专栏
06-15 3万+
本文主要参照HBase官网：http://hbase.apache.org/cygwin.html 中HBase On Windowsbu
安装hbase集群
huanghuazsp的专栏
02-22 613
redhat上安装hbase集群
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值