HBase2.2.2安装和编程

最新推荐文章于 2024-09-30 21:03:43 发布
最新推荐文章于 2024-09-30 21:03:43 发布
阅读量625 收藏 5
点赞数 1
文章标签： hbase hadoop 大数据
原文链接：https://dblab.xmu.edu.cn/blog/2442/
版权

文章目录

一、HBase简介

HBase是一个分布式的、面向列的开源数据库。

  • HBase的运行有三种模式
    • 单机模式
      在一台计算机上，安装和使用HBase，不涉及数据的分布式存储。
    • 伪分布式模式
      在一台计算机上，模拟一个小的集群
    • 分布式模式
      在多台计算机上，实现物理意义上的分布式存储。

二、HBase安装和配置

Hadoop与HBase的最新版本兼容性
环境：
Ubuntu16.04(14.04-18.04都可)
HBase 2.2.2(bin版本已经编译好(推荐)，src未编译)

1.安装

  1. 下载
    官网
    在这里插入图片描述
    传到虚拟机可使用FileZilla（具体实现可在moli博客中检索）
  2. 解压
    把安装包hbase-2.2.2-bin.tar.gz解压到/usr/local中
cd ~
sudo tar -zxf ~/Downloads/hbase-2.2.2-bin.tar.gz -C /usr/local
  1. 改文件名，方便后续使用
cd /usr/local
sudo mv ./hbase-2.2.2 ./hbase
  1. 把hbase目录权限赋给hadoop用户
cd /usr/local
sudo chown -R hadoop ./hbase
  1. 配置环境变量
    把hbase下的bin目录添加到path中
    ⇨启动hbase无需到/usr/local/hbase目录下，便于hbase的使用。
    下述教程还是切换到了/usr/local/hbase目录操作，有助于萌新理解，熟练后可不必切换
  • 编辑~/.bashrc
vim ~/.bashrc

若没有引入PATH需要在~/.bashrc文件尾行添加export PATH=$PATH:/usr/local/hbase/bin
若已经引入PATH在export PATH这行追加/usr/local/hbase/bin,此处的":"是分隔符。
编辑完成后，再执行source命令使上述配置在当前终端立即生效。

source ~/.bashrc
  1. 添加HBase权限
cd /usr/local
sudo chown -R hadoop ./hbase #把hbase下的所有文件的所有者改为hadoop,hadoop是当前用户的用户名
  1. 查看HBase版本，以确定hbase安装成功
/usr/local/hbase/bin/hbase version

若输出版本信息，则HBase安装成功~
在这里插入图片描述
遇到的问题&解决：vim非正常退出

2.配置

保证以下三者已经安装（若无则点开主页搜索相关教程配置）：

  • jdk
  • Hadoop( 单机模式不需要，伪分布式模式和分布式模式需要)
  • SSH（免密码登陆的SSH协议）

2.1单机模式配置

  • 配置/usr/local/hbase/conf/hbase-env.sh。
    打开并编辑hbase-env.sh
vim /usr/local/hbase/conf/hbase-env.sh

默认已经安装了JDK1.8。JDK的安装目录为/usr/lib/jvm/jdk1.8.0_162，则JAVA_HOME=jdk的安装目录；配置HBASE_MANAGES_ZK为true（表示hbase自己管理zookeeper,不需要单独的zookeeper）。hbase-env.sh中本就存在这些变量的配置，只需要删除前面的#并修改配置内容即可（#表示注释）

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export HBASE_MANAGES_ZK=true

修改后保存退出

  • 配置/usr/local/hbase/conf/hbase-site.xml
    打开并编辑hbase-site.xml
vim /usr/local/hbase/conf/hbase-site.xml

在启动HBase前，需要设置属性hbase.rootdir，用于指定HBase数据的存储位置，因为如果不设置的话，hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。
此处设置为HBase安装目录下的hbase-tmp文件夹，即/usr/local/hbase/hbase-tmp。添加配置为：

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>file:///usr/local/hbase/hbase-tmp</value>
        </property>
</configuration>
  • 测试运行。
    先切换目录到HBase安装目录/sur/local/hbase;再启动HBase
cd /usr/local/hbase
bin/start-hbase.sh # 启动HBase
bin/hbase shell # 打开shell命令行模式

在这里插入图片描述

停止HBase运行

bin/stop-hbase.sh

若操作HBase的过程中发生错误，可以通过{HBASE_HOME}目录(/usr/local/hbase)下的logs子目录中的日志文件查看错误原因

2.2伪分布式模式配置

  • 配置/usr/local/hbase/conf/hbase-env.sh
vim /usr/local/hbase/conf/hbase-env.sh

配置JAVA_HOME,HBASE_CLASSPATH.HBASE_MANAGES_ZK.HBASE_CLASSPATH设置为本机HBase安装目录下的conf目录（即/usr/local/hbase/conf）

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export HBASE_CLASSPATH=/usr/local/hbase/conf 
export HBASE_MANAGES_ZK=true
  • 配置/usr/local/hbase/conf/hbase-site.xml
    打开并编辑hbase-site.xml
vim /usr/local/hbase/conf/hbase-site.xml

修改hbase.rootdir,指定HBase数据在HDFS上的存储路径；把属性hbase.cluter.distributed设置为true。假设当前Hadoop集群运行在伪分布式模式下，在本机上运行，且NameNode运行在9000端口。

<configuration>
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://localhost:9000/hbase</value>
        </property>
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
        <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
</configuration>

hbase.rootdir指定HBase的存储目录；hbase.cluster.distributed设置集群处于分布式模式.
另外，上面配置文件中，hbase.unsafe.stream.capability.enforce这个属性的设置，是为了避免出现启动错误。也就是说，如果没有设置hbase.unsafe.stream.capability.enforce为false，那么，在启动HBase以后，会出现无法找到HMaster进程的错误，启动后查看系统启动日志（/usr/local/hbase/logs/hbase-hadoop-master-ubuntu.log），会发现如下错误：2020-01-25 15:04:56,916 ERROR [master/localhost:16000:becomeActiveMaster] master.HMaster: Failed to become active master java.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper operation during component failures, but the underlying filesystem does not support doing so. Please check the config value of 'hbase.procedure.store.wal.use.hsync' to set the desired level of robustness and ensure the config value of 'hbase.wal.dir' points to a FileSystem mount that can provide it.
测试运行HBase

  • 先登录ssh（之前设置了无密码登录）
  • 再切换到目录到/usr/local/hadoop
  • 再启动hadoop(如果没有启动的话)
ssh localhost
cd /usr/local/hadoop
./sbin/start-dfs.sh

在这里插入图片描述

  • 切换目录到/usr/local/hbase，再启动HBase
cd /usr/local/hbase
bin/start-hbase.sh

输入命令jps，看到以下界面说明成功启动
在这里插入图片描述

  • 进入到shell界面
bin/hbase shell

在这里插入图片描述

  • 停止运行HBase
bin/stop-hbase.sh

注意：如果在操作HBase的过程中发生错误，可以通过{HBASE_HOME}目录（/usr/local/hbase）下的logs子目录中的日志文件查看错误原因。
这里启动关闭Hadoop和HBase的顺序一定是：
启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop

三、编程实践

先打开hadoop和hbase
在这里插入图片描述

3.1HBase常用shell命令

在这里插入图片描述

3.1.1HBase中创建表

创建一个"student"表，属性有Sname,Ssex,Sage,Sdept,course。因为HBase的表中会有一个系统默认的属性作为行键，所以无需自行创建，默认为put命令操作中表名后第一个数据。

create 'student','Sname','Ssex','Sage','Sdept','course'

在这里插入图片描述

可通过describe命令查看“student”表中的基本信息。
在这里插入图片描述

3.1.2HBase数据库基本操作

主要介绍HBase的增删改查。
在添加数据时，HBase会自动为添加的数据添加一个时间戳，故需要在修改数据时，只需直接添加数据，HBase即会生成一个新的版本，从而完成“改操作”，旧的版本依旧保留，系统会定时回收垃圾数据，只留下最新的几个版本，保存的版本数可以在创建表的时候指定。

  • 添加数据
    用put命令添加数据。

notice:一次只能为一个表的一行数据的一个列，即一个单元格添加一个数据。
⇨直接用shell命令插入数据效率很低，故在实际应用中，一般都是利用编程操作数据。

在student表添加了学号为24，名字为Harder的一行数据，行键为24

put 'student','24','Sname','Harder'

在这里插入图片描述
在这里插入图片描述

  • 删除数据
    在HBase中用delete和deleteall命令进行删除数据操作。
    • delete
      删除一个数据，是put的反向操作
delete 'student','24','Ssex'

在这里插入图片描述
* deleteall
删除一行数据

deleteall 'student','24'
  • 查看数据
    HBase中有两个用于查看数据的命令
    • get命令
      用于查看表的某一行数据
get 'student','24' # 返回的是'student'表中'24'行的数据

在这里插入图片描述

* scan命令

用于查看某个表的全部数据

scan 'student'

在这里插入图片描述

  • 删除表
    有两步：
    • 先让表不可用
    • 再删除表
disable 'student'
drop 'student'

在这里插入图片描述
依次退出shell⇀关闭hbase⇀关闭hadoop
在这里插入图片描述

3.1.3查询表历史数据

查询表的历史版本，需要两步：

  1. 在创建表时，指定保存的版本数（本例中指定为5）
create 'teacher',{NAME=>'username',VERSIONS=>5}
  1. 插入数据，然后更新数据，使其产生历史版本数据（这里插入数据和更新数据都用put命令）
put 'teacher','202301','username','Mary'
put 'teacher','202301','username','Mary1'
put 'teacher','202301','username','Mary2'
put 'teacher','202301','username','Mary3'
put 'teacher','202301','username','Mary4'
put 'teacher','202301','username','Mary5'
  1. 查询时，指定查询的历史版本数。默认会查询出最新的数据（有效值为1~5）
get 'teacher','202301',{COLUMN=>'username',VERSIONS=>5}

3.1.4退出HBase数据库表操作

输入exit命令即可。

!注意，这里退出HBase数据库是退出对数据库表的操作，而不是停止启动HBase数据库后台运行。

3.2HBase Java API编程实践

  1. 准备工作，启动hadoop,启动hbase，打开shell
    在这里插入图片描述
    在这里插入图片描述

启动eclipse,在启动界面上点击右下角的launch创建按钮。
在程序开发界面中，file⇀new⇀Java Project⇀’project name’可为"HBaseExample"。在"JRE"选项卡中选中第二项"Use a project specific JRE"⇀next。
在这里插入图片描述

横向目录中，选择’libraries’⇀引入外部jar包

  • “/usr/local/hbase/lib”目录中的所有jar包（ctrl+a全选，crtl反选文件夹，以选中所有jar包，点OK）
  • “/usr/local/hbase/lib/client-facing-thirdparty”下的所有jar包
    点击finish。
    HBaseExample⇀new⇀class,类名可为"ExampleForHBase"⇀finish
    代码内容为
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
 
import java.io.IOException;
public class ExampleForHBase {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    public static void main(String[] args)throws IOException{
        init();
        createTable("student",new String[]{"score"});
        insertData("student","zhangsan","score","English","69");
        insertData("student","zhangsan","score","Math","86");
        insertData("student","zhangsan","score","Computer","77");
        getData("student", "zhangsan", "score","English");
        close();
    }
 
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
 
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }
 
    public static void createTable(String myTableName,String[] colFamily) throws IOException {
        TableName tableName = TableName.valueOf(myTableName);
        if(admin.tableExists(tableName)){
            System.out.println("talbe is exists!");
        }else {
            TableDescriptorBuilder tableDescriptor = TableDescriptorBuilder.newBuilder(tableName);
            for(String str:colFamily){
                ColumnFamilyDescriptor family = 
ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes(str)).build();
                tableDescriptor.setColumnFamily(family);
            }
            admin.createTable(tableDescriptor.build());
        } 
    }
 
    public static void insertData(String tableName,String rowKey,String colFamily,String col,String val) throws IOException { 
        Table table = connection.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowKey.getBytes());
        put.addColumn(colFamily.getBytes(),col.getBytes(), val.getBytes());
        table.put(put);
        table.close(); 
    }
 
    public static void getData(String tableName,String rowKey,String colFamily, String col)throws  IOException{ 
        Table table = connection.getTable(TableName.valueOf(tableName));
        Get get = new Get(rowKey.getBytes());
        get.addColumn(colFamily.getBytes(),col.getBytes());
        Result result = table.get(get);
        System.out.println(new String(result.getValue(colFamily.getBytes(),col==null?null:col.getBytes())));
        table.close(); 
    }
}

注意程序运行前，需要启动HDFS和HBase.
运行， 程序运行成功以后，如下图所示，会在运行结果中出现“69”。

在这里插入图片描述
这时，可以到HBase Shell交互式环境中，使用如下命令查看student表是否创建成功：
在这里插入图片描述
再在HBase Shell交互式环境中，使用如下命令查看student表中的数据：

在这里插入图片描述

Moliay
关注
Ubuntu的HBase2.2.2安装
weixin_54503172的博客
11-09 1178
在官网下载对应版本的HBaseIndex of /dist/hbase完成下载后解压安装包到路径usr/local 为了便于后续操作将解压后的文件改名为hbase 接下来对hbase进行赋权 完成后进行hbase的环境的配置为了便与对hbase的使用，将hbase的bin目录加到path下，于是对.bashrc文件进行编辑 在export PATH中追加/usr/local/hbase/bin！！！“：”是与前面内容的分隔符如图 若没有export PATH则输入 完成编辑后使用命令让配
HBase2.2.2安装和编程实践指南
weixin_43576422的博客
08-08 865
承接上一篇：分布式文件系统HDFS上机实践 文章目录@[toc]分布式数据库HBase一、HBase介绍运行环境：二、安装并配置HBase2.2.22.1单机模式配置1. 配置/usr/local/hbase/conf/hbase-env.sh 。2. 配置/usr/local/hbase/conf/hbase-site.xml3. 测试运行。2.2 伪分布式模式配置1.配置/usr/local/hbase/conf/hbase-env.sh。命令如下：2.配置/usr/local/hbase/conf/
hbase2.2安装文件
10-24
内含 hbase-2.2.2-bin.tar.gz hbase-2.2.2-src.tar.gz 安装文档
HBase2.2.2安装（单机、伪分布）
WZRbeliever的博客
06-02 1044
查看HBase版本，确定hbase安装成功,命令如下。再次查看HBASE版本，没有问题了。jps测试，成功啦！
hbase2.2.2在伪分布系统中的安装部署
最新发布
hnkkfan的博客
09-30 1044
我用的hbase是2.2.2版的，下载地址可以从我的网盘中下载。提取码：rnfk不同版本的hbase对hadoop环境的要求版本也不同，如我用的hbase2.2.2就要求hadoop版本不低于3.1.3，安装时需要注意一下。关于hadopp3.1.3伪分布系统的安装配置见前段时间的文章。
HBase2.2.2安装配置
写写随便！
04-24 4725
前言：大数据实验在虚拟机上安装Hadoop后熟悉HBase操作。 参考：HBase2.2.2安装和编程实践指南_厦大数据库实验室博客 (xmu.edu.cn) 环境：Ubuntu20.04 + Hadoop3.2.3 1、HBase简介 HBase是一个分布式的、面向列的开源数据库。HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。单机模式：在一台计算机上安装和使用HBase，不涉及数据的分布式存储；伪分布式模式：在一台计算机上模拟一个小的集群；分布式模式：使用多台计.........
hbase-2.2.2-bin.tar.gz
12-09
HBase是一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存储海量稀疏的数据。 HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。
HBase2.2.2安装和编程实践指南_厦大数据库实验室博客.mhtml
10-26
HBase2.2.2安装和编程实践指南_厦大数据库实验室博客.mhtml
Hbase详细安装步骤
05-07
HBase 是一个分布式、面向列的 NoSQL 数据库，它基于 Hadoop 的分布式文件系统（HDFS）和 MapReduce 编程模型。以下是在 Ubuntu 环境下安装 HBase 的详细步骤： 安装 HBase 1. 获取安装文件 使用 FileZilla 工具...
HBase 2.2.6安装及编程实践（基于deepin 20.1社区版&Hadoop 3.1.3）
CCH²¹的博客
04-08 913
参考资料：HBase2.2.2安装和编程实践指南 厦大数据库实验室博客 配置过程中所需资源： HBase 2.2.6安装文件链接（提取码：of9o） 目录安装并配置HBase 2.2.6HBase 2.2.6安装HBase配置单机模式配置伪分布式模式配置编程实践利用HBase Shell命令HBase Java API编程 安装并配置HBase 2.2.6 HBase 2.2.6安装 HBase 2.2.6的安装文件保存在/home/hadoop/Downloads/目录下。 解压hbase-2.2.6.
hbase的安装包
10-17
这是hbase1.1.2的安装包，用于hbase1.1.2的安装使用。
HBase2.2.2安装和编程实践
weixin_55089394的博客
11-26 2043
一定要用配置好的hadoop用户登录，不然会发现自己没有java环境，ssh无法免密登录。本次实验还将用到linux环境下的eclipse，需提前准备好安装包
Hbase2.x安装
进击的小白
01-21 1643
下载安装包 版本地址Index of /apache/hbase wget https://mirrors.bfsu.edu.cn/apache/hbase/2.4.9/hbase-2.4.9-bin.tar.gz --no-check-certificate --no-check-certificate ：跳过安全证书校验 解压安装包 tar xzvf hbase-2.4.9-bin.tar.gz 修改环境变量 打开配置文件 vim /etc/profile 添加内容...
安装HBase2.2.2并配置伪分布式模式
YICUNTU的博客
05-25 531
localhost:port
【大数据基础】HBase2.2.2安装及编程实践指南
Algernon98的博客
03-12 1294
【代码】【大数据基础】HBase2.2.2安装及编程实践指南。
Hbase2.2.2在线安装配置（对应Hadoop 3.1.3）
小韩的博客
04-23 2917
Hbase2.2.2在线安装配置（对应Hadoop 3.1.3）
HBase2.2.2安装
weixin_48676558的博客
05-16 265
HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问HBase官方网站。HBase的运行有三种模式：单机模式、伪分布式模式、分布式模式。单机模式：在一台计算机上安装和使用HBase，不涉及数据的分布式存储；伪分布式模式：在一台计算机上模拟一个小的集群；
【大数据实验】02. 安装HBase2.2.2
JulyLake的博客
09-07 1622
【大数据实验】02. 安装HBase2.2.2 完成时间：2020-0907 参考资料： 1.厦门大学数据库实验室 http://dblab.xmu.edu.cn/blog/2630-2/ 2.厦门大学慕课《大数据技术原理与应用》http://www.icourse163.org/course/XMU-1002335004#/info 主机的开发环境： 华为 MagicBook，Windows10。 虚拟软件： VirtualBox 6.1.12 虚拟机的操作系统： Ubuntu20.04.1 LTS 一、
Ubuntu系统下详述Hbase 2.2.2的安装与配置
在Ubuntu上安装配置HBase涉及到多个步骤，每个环节都需要仔细检查和调试。确保每个步骤都按照最佳实践进行，以保证HBase能够稳定运行。在实际操作中，你可能还需要根据网络环境、硬件资源以及具体需求调整配置。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值