Hbase 完全分布式模式的搭建、命令行操作、Java API操作

最新推荐文章于 2023-05-04 14:41:06 发布
最新推荐文章于 2023-05-04 14:41:06 发布
阅读量760 收藏 6
点赞数 2
文章标签： hadoop linux hbase 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46089149/article/details/109805942
版权

追风赶月莫停留，平芜尽处是春山。

文章目录

环境

  • VMware 12.0.1
  • JDK 1.8.0
  • Hadoop 2.8.5
  • Zookeeper 3.4.10
  • Intellij IDEA 2019.3.1

Hbase 完全分布式模式的搭建

一、下载安装包，解压到合适位置:

  1. 将压缩包 hbase-1.3.6-bin.tar.gz，通过上传软件上传至/opt/softwares目录；
    解压软件包并移动至/opt/modules/
    下载传送门提取码：5ta2

二、配置相关的文件:

  1. 配置hbase-env.sh，该文件位于/opt/modules/hbase-1.3.6/conf
    在该文件里追加：

    export JAVA_HOME=/opt/modules/jdk1.8.0_171	#JDK安装路径

  2. 配置hbase-site.xml，该文件位于/opt/modules/hbase-1.3.6/conf
    在<configuration> </configuration>标签里添加如下配置：

    <property>
  <name>hbase.rootdir</name>
  <value>hdfs://centos01:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>centos01:2181,centos02:2181,centos03:2181</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/opt/modules/hbase-1.3.6/data/zkData</value>
</property>

  3. 配置regionservers，该文件位于/opt/modules/hbase-1.3.6/conf
    内容如下：

    centos01
centos02
centos03

  4. 配置环境变量，该文件位于/etc/profile
    在该文件后面追加如下内容：

    export HBASE_HOME=/opt/modules/hbase-1.3.6
export PATH=$PATH:$HBASE_HOME/bin

    打开终端运行命令：source /etc/profile

三、将Hbase复制到其他节点：

  1. 运行以下命令：
    scp -r /opt/modules/hbase-1.3.6 root@centos02:/opt/modules
scp -r /opt/modules/hbase-1.3.6 root@centos03:/opt/modules

四、启动Hbase:

启动顺序：Hadoop->Hbase
停止顺序：Hbase->Hadoop
在启动Hbase的时候zookeeper已经自动启动了，就不用再去手动启动了。

  1. 启动Hadoop集群：

    start-all.sh

  2. 启动Hbase:

    start-hbase.sh

输入命令jps，看到以下进程说明hbase启动成功

HMaster
HQuorumPeer
NameNode
HRegionServer
SecondaryNameNode
DataNode
ResourceManager
NodeManager
Jps

命令行操作

使用命令hbase shell进入hbase命令行操作

一、创建表

需要创建表名，另外需要指定列簇(column family)。表名和列簇名都需要使用引号括起来。

create 'stu','info'

二、添加数据

向表中加入数据。这里使用关键字put。

put 'stu','1','info:id','100'

三、扫描表

  1. 可以使用scan扫描表中所有数据.

    scan 'stu'

  2. 可以使用get获取单个的记录，查看单个记录，指定行键(row key)：

    get 'stu','1'

  3. 同时还可以指定具体的列名称：

    get 'stu','1','info:id'

四、修改表

put 'stu','1','info:name','abc'

五、删除

  1. 删除特定单元格：
    语法：delete ‘tableName’ , ‘rowName’ , ‘colFamily:column’

    delete 'stu','1','info:name'

  2. 删除整行数据：
    语法：deleteall ‘tableName’ ,‘rowName’

    deletell 'stu','1'

  3. 删除整张表:
    连表也删除掉，使用关键字drop，但是不能直接drop，在drop之前需要先disable。

    disable 'stu'
drop 'stu'

六、列出所有表

list

七、查询表中记录数

count 'stu'

八、查询表是否存在

exists 'stu'

九、批量执行命令

  1. 创建批量执行hbase shell 命令脚本
    #!/bin/bash  
source /etc/profile
exec $HBASE_HOME/bin/hbase shell <<EOF 
    truncate 'tracker_total_apk_fact_zyt'
major_compact('t_abc')
disable 't_abc'
drop 't_abc'
create 't_abc', 'info'

EOF
  2. 运行脚本hbase shell 文件名

Java API 操作

一、配置Maven依赖

  1. 新建一个叫做Hbase_demo的Maven项目在pom.xml中引入以下java api依赖包

    <dependencies>
	<dependency>
		<groupId>org.apache.hbase</groupId>
        <artifactId>hbase-client</artifactId>
        <version>1.3.6</version>
	</dependency>
	<dependency>
		<groupId>org.apache.hbase</groupId>
        <artifactId>hbase-server</artifactId>
        <version>1.3.6</version>
    </dependency>
</dependencies>

  2. 打开设置File-->settings-->Maven-->Importing 在Import Maven projects automatically 前面打勾。等待下载完成。

二、创建Java Class

在目录src/main/java下新建一个Package，名叫：com.qfnu.hbase

  1. 创建表：CreateTable.java
    package com.qfnu.hbase;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;

public class CreateTable {
    public static void main(String[] args) throws Exception{
        //创建Hadoop配置对象
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.zookeeper.quorum","centos01:2181,centos02:2181,centos03:2181");
        //创建连接对象Connection
        Connection conn = ConnectionFactory.createConnection(conf);
        //得到数据库管理对象
        Admin admin = conn.getAdmin();
        TableName tableName = TableName.valueOf("a1");
        //创建表描述并指定表名
        HTableDescriptor desc = new HTableDescriptor(tableName);
        //创建列族描述
        HColumnDescriptor family = new HColumnDescriptor("b1");
        //指定列族
        desc.addFamily(family);
        admin.createTable(desc);
        System.out.println("create table success!!");
    }
}
  2. 添加数据：HBasePutData.java
    package com.qfnu.hbase;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
/**
 * 向表t1中添加三条数据
 */
public class HBasePutData{
	public static void main(String[] args) throws Exception {
		//创建HBase配置对象
		Configuration conf=HBaseConfiguration.create();
		//指定ZooKeeper集群地址
		conf.set("hbase.zookeeper.quorum", "centos01:2181,centos02:2181,centos03:2181");
  		//创建数据库连接对象Connection
  		Connection conn=ConnectionFactory.createConnection(conf);
  		//Table负责与记录相关的操作,如增删改查等
  		TableName tableName=TableName.valueOf("t1");
  		Table table=conn.getTable(tableName);
        
        Put put = new Put(Bytes.toBytes("row7"));// 设置rowkey
        //添加列数据，指定列族、列名与列值
        put.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("name"),
        		Bytes.toBytes("xiaoming24"));
        put.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("age"), 
        		Bytes.toBytes("33"));
        put.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("address"), 
        		Bytes.toBytes("beijing"));
        
        Put put2 = new Put(Bytes.toBytes("row8"));// 设置rowkey
        //添加列数据，指定列族、列名与列值
        put2.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("name"), 
        		Bytes.toBytes("xiaoming23333"));
        put2.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("age"), 
        		Bytes.toBytes("30"));
        put2.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("address"), 
        		Bytes.toBytes("beijing2"));
        
        Put put3 = new Put(Bytes.toBytes("row9"));// 设置rowkey
        //添加列数据，指定列族、列名与列值
        put3.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("age"), 
        		Bytes.toBytes("31"));
        put3.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("address"), 
        		Bytes.toBytes("beijing3"));
        
        //执行添加数据
        table.put(put);
        table.put(put2);
        table.put(put3);
        //释放资源
        table.close();
        System.out.println("put data success!!");
	}
}
  3. 查询数据：HBaseGetData.java
    package com.qfnu.hbase;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Table;
/**
 * 查询表t1中的行键为row1的一行数据
 */
public class HBaseGetData{
	public static void main(String[] args) throws Exception {
		//创建HBase配置对象
		Configuration conf=HBaseConfiguration.create();
		//指定ZooKeeper集群地址
		conf.set("hbase.zookeeper.quorum", "centos01:2181,centos02:2181,centos03:2181");
        //获得数据库连接
        Connection conn=ConnectionFactory.createConnection(conf);
	   //获取Table对象，指定查询表名，Table负责与记录相关的操作,如增删改查等
        Table table = conn.getTable(TableName.valueOf("t1"));  
        //创建Get对象，根据rowkey查询,rowkey=row1  
        Get get = new Get("row1".getBytes());
        //查询数据，取得结果集
        Result r = table.get(get); 
        //循环输出每个单元格的数据
        for (Cell cell : r.rawCells()) {  
        	//取得当前单元格所属的列族名称
        	String family=new String(CellUtil.cloneFamily(cell));
        	//取得当前单元格所属的列名称
        	String qualifier=new String(CellUtil.cloneQualifier(cell));
        	//取得当前单元格的列值
        	String value=new String(CellUtil.cloneValue(cell));
        	//输出结果
         System.out.println("列：" + family+":"+qualifier + "—————值:" + value);  
        }  
	}
}
  4. 删除数据：HBaseDeleteData.java
    package com.qfnu.hbase;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
/**
 * 删除表t1中行键为row1的一整条数据
 */
public class HBaseDeleteData{
	public static void main(String[] args) throws Exception {
		//创建HBase配置对象
		Configuration conf=HBaseConfiguration.create();
		//指定ZooKeeper集群地址
		conf.set("hbase.zookeeper.quorum", "centos01:2181,centos02:2181,centos03:2181");
		//获得数据库连接
        Connection conn=ConnectionFactory.createConnection(conf);
	    //获取Table对象，指定表名，Table负责与记录相关的操作,如增删改查等
	    TableName tableName=TableName.valueOf("t1");
	    Table table=conn.getTable(tableName);
	    //创建删除对象Delete，根据rowkey删除一整条
	    Delete delete=new Delete(Bytes.toBytes("row1"));
	    table.delete(delete);
        //释放资源
        table.close();
        System.out.println("delete data success!!");
	}
}

若有不正确的地方还请批评指正。
动动小手帮我点个赞再走呗。

韩国麦当劳
关注
使用内置zookeeper搭建Hbase集群
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-29 2177
本实验任务主要完成基于ubuntu环境使用内置zookeeper搭建Hbase集群的工作。通过完成本实验任务，要求学生熟练掌握使用内置zookeeper搭建Hbase集群的方法，为后续实验的开展奠定Hbase平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握Hbase完全分布式部署Ubuntu(三台节点:mater,slave1,slave2)、Hadoop2.7.3、Hbase1.2.6Hbase是一个分布式的、面向列的开源数据库，该技术来源于Chang e
hbase
bingoabin
08-03 4720
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。  适合于存储大表数据（表的规模可以达到数十亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别；  利用Hadoop HDFS（Hadoop Distributed File System）作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统；  利用ZooKeeper作为协同服务。...
Welcome to Apache HBase（ 五，HBase运行模式：独立和分布式）
hxiaowang的博客
05-07 3383
5. HBase运行模式：独立和分布式 HBase有两种运行模式：独立模式和分布式模式。开箱即用，HBase以独立模式运行。无论您的模式是什么，您都需要通过编辑HBaseconf目录中的文件来配置HBase。至少，您必须编辑conf / hbase-env.sh以告知HBase使用哪个java。在此文件中，您可以设置HBase环境变量，例如heapsize和其他选项JVM，日志文件的首选位置...
HBase运行模式:单机和分布式
07-11 374
1.3.2. HBase运行模式:单机和分布式 HBase有两个运行模式: Section 1.3.2.1, “单机模式” 和 Section 1.3.2.2, “分布式模式”. 默认是单机模式，如果要分布式模式你需要编辑 conf 文件夹中的配置文件. 不管是什么模式，你都需要编辑 conf/hbase-env.sh来告知Hbase java的安装路径.在这个文件里你还可以设置Hbase的运
HBase实战：hbase伪分布式模式运行
u011236069的博客
11-30 841
简介 因为想要再本地测试Apache phonix ，但是phonix 需要通过zk 来发现hbase 因此只能将单机的hbase 变成分布式的，因为单机hbase zk是默认集成 修改配置文件：vim conf/hbase-site.xml <property> <name>hbase.cluster.distributed</name> <value>true</value> </prope...
Hbase命令行+JAVA API+hivehbase整合
yaoyaoyu123的博客
07-15 255
笔记 1.Utils public class HbaseUtils { public static String value = "qianfeng01,qianfeng02,qianfeng03"; public static String key = "hbase.zookeeper.quorum"; public static Configuration configuration = new Configuration(); ​ static { ...
（三）实战2：hbase的1.X版本java APIjava开发实例
weixin_43930865的博客
10-03 670
hbase的java开发实例 1：hbase的代码编写思路： 1、准备连接hbase集群的配置信息 zookeeper的位置 HBaseConfiguration 2、根据连接信息获取连接对象 Connection 3、根据连接对象获取操作对象 有两大类： DDL ： Admin DML : Table 4、根据你要做的操作，拿到操作对象，调用这个对象中的对应方法进行实际操...
【超详细】从VMware安装到Hadoop+Hbase完全分布式搭建到音乐排行榜综合实验
Duck_Duck_的博客
05-27 2412
目录 一、VMware安装 二、VMwareTools安装 三、更新apt 四、安装配置SSH 五、安装JAVA环境 六、Hadoop安装 七、克隆一台slave 八、修改主机名和测试连通 九、SSH无密码登录Slave 十、配置集群/分布式环境 十一、Hbase的安装与配置 十二、MapReduce与Hbase集成环境 十三、Eclipse安装与配置 十四、音乐...
hbase 完全使用手册
12-29
在使用 HBase 时，用户需要熟悉 HBase Shell 命令行工具或者 HBase 提供的 Java API 来进行数据的读写操作。HBase Shell 提供了一个交互式的界面，允许用户执行数据操作、管理表结构、以及维护集群状态等。Java API ...
分布式消息系统Kafka项目-生产者消费者代码实现(基于5台虚拟机完全分布式)
08-04
Java API提供了方便的Producer类，通过创建Producer实例，设置配置参数（如acks、batch.size等），然后使用send方法发送消息。生产者还可以选择同步或异步发送模式，以平衡消息的可靠性和性能。 3. **消费者实现**...
HBase-云计算的分布式数据库
10-09
HBase系统结构详细介绍,值得一读 HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储 就是说HBase 是基于列的而不是基于行的模式，这样方面读写你的大数据内容
虚拟机中配置Hbase以及java api的调用
weixin_56853728的博客
10-31 720
在虚拟机中搭建hbase，并进行hbase shell命令的操作，最后进行java api的调用。
HBase学习（一）hbase安装(单机模式)和javaapi客户端访问hbase例子
u013485533的专栏
12-16 6572
平时习惯了window下开发，而Hbase只能在linux环境下运行，所以决定把hbase安装一台虚拟机上，在windows下运行eclipse连接虚拟机里的hbase 因为对linux命令了解不多，所以很多时候都是编码baidu边安装的。 安装Hbase 1、下载Hbase版本 在http://apache.claz.org/hbase/选择一个需要下载的hbase版本，我选择的是h
HBASE-JAVA-API
最新发布
m0_47310235的博客
05-04 1320
对象中的经度和纬度列中。这段代码是一个 Java 语言的方法，它的作用是从 HBase 数据库中的名为 “stu” 的表中扫描并返回行键在 “1500100888” 和 “1500100900” 之间的前 10 行数据。它的主要作用是根据指定的条件扫描表中的行，并返回符合要求的行数据。这段代码是一个 Java 语言的方法，它的作用是从 HBase 数据库中表名为 “t1” 的表中删除一行，该行的行键为 “rk1”。需要注意的是，如果某一行数据中包含的列的数量不固定，可以使用上述方式获取该行数据中的所有列。
使用JAVA API连接虚拟机的HBase并进行数据库操作
wr456wr的博客
05-21 2058
使用JAVA API连接虚拟机的HBase并进行数据库操作
Hbase Java API的简单使用+原理介绍
勇敢牛牛，不怕困难！
08-24 1171
本文主要通过Hbase JavaAPI在Hbase中进行建表及插入数据及HBase的DDL和DML，让你更加了解关于Hbase的相关原理。
hbase shell运行问题
lin的专栏
01-18 3520
环境：CDH-5.15.0-1.cdh5.15.0  突然运行hbase shell出现问题： [root@cdh-master ~]# hbase shell Error: Could not find or load main class org.apache.hadoop.util.PlatformName Java HotSpot(TM) 64-Bit Server VM warnin...
java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer
庐州小白的博客
05-26 2582
java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString 在与HBase数据库交互的时候，可能会出现上述两种错误。查询Maven依赖，会发现出现了Jar包冲突。 解决办法： （试错） 看到这个错误，我的第一反..
HBase源码分析之org.apache.hadoop.hbase.regionserver包
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
05-15 4255
1、Splitpolicy是Region在满足什么条件下，需要split操作，0.94版本中默认是IncreasingToUpperBoundRegionSplitPolicy 1)ConstantSizeRegionSplitPolicy, 2)KeyPrefixRegionSplitPolicy, 3)RegionSplitPolicy,可以在配置文件中指定policy的实现hbase.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

韩国麦当劳

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值