HBASE的javaAPI使用，建表，增，删，查，过滤器简单实用

最新推荐文章于 2022-07-27 04:40:33 发布
最新推荐文章于 2022-07-27 04:40:33 发布
阅读量2.9k 收藏 4
点赞数
分类专栏： hbase 文章标签： hbase java 管理 数据 过滤器-基础操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FMSCOTT/article/details/51339338
版权

-涉及主要对象认识
- HBaseConfiguration： HBase配置类
- HConnectionManager： HBase的java连接类
- HBaseAdmin： HBase的管理类，主要对表的管理，创建，禁用，删除等
- HTableDescriptor： 表属性的描述，添加列族等
- HTable： HBase的表对象，用操作表，添加数据，表扫面等

package com.fang.demo;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HConnection;
import org.apache.hadoop.hbase.client.HConnectionManager;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.filter.BinaryComparator;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.FilterList;
import org.apache.hadoop.hbase.filter.PageFilter;
import org.apache.hadoop.hbase.filter.PrefixFilter;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.TimestampsFilter;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

public class HBaseFilterTest {

    public static Configuration configuration;
    public static HConnection hConnection;

    @Before
    public void testBefore() {
        try {
            configuration = HBaseConfiguration.create();
            configuration.set("hbase.zookeeper.property.clientPort", "2181");
            configuration.set("hbase.zookeeper.quorum", "redhat");
            configuration.set("hbase.master", "redhat:600000");

            hConnection = HConnectionManager.createConnection(configuration);
        } catch (ZooKeeperConnectionException e) {
            e.printStackTrace();
        }

    }

    @After
    public void testAfter() {
        try {
            hConnection.close();
            System.out.println("close");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    /**
     * 
     * @Description: 创建表
     * 通过HBaseAdmin管理hbase中的表
     * HTableDescriptor管理hbase中的列族信息
     */
    @Test
    public void createTable() throws Exception {

        String tableName = "user";

        HBaseAdmin hBaseAdmin = new HBaseAdmin(configuration);

        if (hBaseAdmin.tableExists(tableName)) {
            // hBaseAdmin.disableTable(tableName);
            // hBaseAdmin.deleteTable(tableName);
            System.out.println(tableName + "表已经存在,并删除表");
        }

        HTableDescriptor hDescriptor = new HTableDescriptor(tableName);
        hDescriptor.addFamily(new HColumnDescriptor("name"));
        hDescriptor.addFamily(new HColumnDescriptor("age"));
        hDescriptor.addFamily(new HColumnDescriptor("dept"));

        hBaseAdmin.createTable(hDescriptor);

        hBaseAdmin.close();
    }

    /***
     * 
     * @Description: 插入表
     */
    @Test
    public void testPut() throws Exception {
        String tableName = "user";

        HTable table = (HTable) hConnection.getTable(tableName);
        table.setAutoFlush(false);// 关闭自动刷新，提交IO吞吐率

        List<Put> list = new ArrayList<Put>(1000);
        for (int i = 0; i < 200000; i++) {
            Put put = new Put(Bytes.toBytes("user_" + i));
            put.add(Bytes.toBytes("name"), Bytes.toBytes("FirstName"), Bytes.toBytes("First" + i));
            put.add(Bytes.toBytes("name"), Bytes.toBytes("SecondName"), Bytes.toBytes("Second" + i));
            put.add(Bytes.toBytes("age"), null, Bytes.toBytes(i + ""));
            put.add(Bytes.toBytes("dept"), null, Bytes.toBytes("dept" + i));
            list.add(put);

            if (i % 1000 == 0) {
                table.put(list);
                list = new ArrayList<Put>(1000);
            }
        }

        if (list.size() > 0) {
            table.put(list);
        }
        table.close();
        hConnection.close();

    }

    /**
     * 
    * @Description: 通过key获取值
     */
    @Test
    public void testGet() throws Exception {
        HTable table = (HTable) hConnection.getTable("user");
        Get get = new Get(Bytes.toBytes("user_9985"));
        Result result = table.get(get);

        if (result != null && result.size() > 0) {
            System.out.print("key=" + new String(result.getRow()) + "   ");
            for (KeyValue key : result.raw()) {
                System.out.print(new String(key.getFamily()) + "=" + new String(key.getQualifier()) + "=" + new String(key.getValue()) + "   ");
            }
        } else {
            System.out.println("没有数据");
        }

        hConnection.close();

    }

    /**
     * @Description: hbase扫描器
     */
    @Test
    public void testScan() throws Exception {
        HTable table = (HTable) hConnection.getTable("user");
        Scan scan = new Scan();
        scan.setCaching(1000);// 设置扫描器缓存区的大小

        ResultScanner rs = table.getScanner(scan);
        for (Result r : rs) {
            System.out.print("key=" + new String(r.getRow()) + "   ");
            for (KeyValue key : r.raw()) {
                System.out.print(new String(key.getFamily()) + "=" + new String(key.getQualifier()) + "=" + new String(key.getValue()) + "   ");
            }

            System.out.println();
        }

    }

    /**
     * 
     * @Description: HBase过滤器
     * 单列值过滤器（SingleColumnValueFilter）
     */
    @Test
    public void testScanFilter() throws Exception {

        HTable table = (HTable) hConnection.getTable("user");
        Scan scan = new Scan();
        scan.setCaching(1000);// 设置扫描器缓存区的大小

        Filter filter = new SingleColumnValueFilter(Bytes.toBytes("name"), Bytes.toBytes("FirstName"), CompareOp.EQUAL, Bytes.toBytes("First22"));

        scan.setFilter(filter);

        ResultScanner rs = table.getScanner(scan);
        for (Result r : rs) {
            System.out.print("key=" + new String(r.getRow()) + "   ");
            for (KeyValue key : r.raw()) {
                System.out.print(new String(key.getFamily()) + "=" + new String(key.getQualifier()) + "=" + new String(key.getValue()) + "   ");
            }

            System.out.println();
        }

    }

    /**
     * 
     * @Description: 多扫描器使用
     */
    @Test
    public void testScanFilterList() throws Exception {

        HTable table = (HTable) hConnection.getTable("user");
        Scan scan = new Scan();
        scan.setCaching(1000);// 设置扫描器缓存区的大小

        List<Filter> filterList = new ArrayList<>();
        Filter filter = new SingleColumnValueFilter(Bytes.toBytes("name"), Bytes.toBytes("FirstName"), CompareOp.EQUAL, Bytes.toBytes("First22"));
        Filter filter2 = new SingleColumnValueFilter(Bytes.toBytes("age"), null, CompareOp.EQUAL, Bytes.toBytes("22"));

        filterList.add(filter);
        filterList.add(filter2);

        FilterList fList = new FilterList(filterList);
        scan.setFilter(fList);

        ResultScanner rs = table.getScanner(scan);
        for (Result r : rs) {
            System.out.print("key=" + new String(r.getRow()) + "   ");
            for (KeyValue key : r.raw()) {
                System.out.print(new String(key.getFamily()) + "=" + new String(key.getQualifier()) + "=" + new String(key.getValue()) + "   ");
            }

            System.out.println();
        }

    }

    @Test
    public void deleteTableRow() {
        try {
            HTable table = new HTable(configuration, "user");
            List<Delete> list = new ArrayList<Delete>();
            Delete d1 = new Delete("user19".getBytes());
            list.add(d1);

            table.delete(list);
            System.out.println("删除行成功!");

        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    /**
     * 
    * @Description: 行过滤器
     */
    @Test
    public void testRowFilter() throws Exception {

        HTable table = (HTable) hConnection.getTable("user");
        Scan scan = new Scan();
        scan.setCaching(1000);// 设置扫描器缓存区的大小

        Filter filter = new  RowFilter(CompareOp.EQUAL, new  BinaryComparator(Bytes.toBytes("user_22")));

        scan.setFilter(filter);

        ResultScanner rs = table.getScanner(scan);
        for (Result r : rs) {
            System.out.print("key=" + new String(r.getRow()) + "   ");
            for (KeyValue key : r.raw()) {
                System.out.print(new String(key.getFamily()) + "=" + new String(key.getQualifier()) + "=" + new String(key.getValue()) + "   ");
            }

            System.out.println();
        }

    }


    /**
     * 
    * @Description: 分页过滤器
     */
    @Test
    public void testPageFilter() throws Exception {

        HTable table = (HTable) hConnection.getTable("user");
        Scan scan = new Scan();
        scan.setCaching(1000);// 设置扫描器缓存区的大小

        PageFilter filter = new  PageFilter(20);//每页20条

        scan.setStartRow(Bytes.toBytes(20));//从20行开始，就是查询第二页
//      scan.setStopRow(s)设置结束行

        scan.setFilter(filter);

        ResultScanner rs = table.getScanner(scan);
        for (Result r : rs) {
            System.out.print("key=" + new String(r.getRow()) + "   ");
            for (KeyValue key : r.raw()) {
                System.out.print(new String(key.getFamily()) + "=" + new String(key.getQualifier()) + "=" + new String(key.getValue()) + "   ");
            }

            System.out.println();
        }

    }

    /**
     * 
    * @throws Exception 
     * @Description: 前缀过滤器（PrefixFilter）
     */
    @Test
    public void testPrefixFilter() throws Exception{
        HTable table = (HTable) hConnection.getTable("user");
        Scan scan = new Scan();
        scan.setCaching(1000);// 设置扫描器缓存区的大小

        Filter filter = new PrefixFilter(Bytes.toBytes("user_222"));

        scan.setFilter(filter);

        ResultScanner rs = table.getScanner(scan);
        for (Result r : rs) {
            System.out.print("key=" + new String(r.getRow()) + "   ");
            for (KeyValue key : r.raw()) {
                System.out.print(new String(key.getFamily()) + "=" + new String(key.getQualifier()) + "=" + new String(key.getValue()) + "   ");
            }

            System.out.println();
        }

    }


    /**
     * 时间戳过滤器（TimestampsFilter）
     */
    @Test
    public void testTimestampsFilter() throws Exception{
        HTable table = (HTable) hConnection.getTable("user");
        Scan scan = new Scan();
        scan.setCaching(1000);// 设置扫描器缓存区的大小

        List<Long> ts = new ArrayList<Long>();
        ts.add(new Long(1462618668891L));
        ts.add(new Long(1462618657998L));
        ts.add(new Long(1462618668392L));
        Filter filter = new TimestampsFilter(ts);

        scan.setFilter(filter);
        ResultScanner rs = table.getScanner(scan);
        for (Result r : rs) {
            System.out.print("key=" + new String(r.getRow()) + "   ");
            for (KeyValue key : r.raw()) {
                System.out.print(new String(key.getFamily()) + "=" + new String(key.getQualifier()) + "=" + new String(key.getValue()) + "   ");
            }

            System.out.println();
        }

    }

}
FMSCOTT
关注
专栏目录
HBase 过滤器 Java API
hujieliang123的博客
03-02 2608
HBase 过滤器 Java API
hbase java 建表_hbase java API跟新数据，创建表
weixin_39765625的博客
02-12 393
package hbaseCURD;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.client.Get;import org.apache.h...
hbase java API跟新数据，创建表
weixin_33682790的博客
05-31 186
package hbaseCURD; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Get; im...
完全分布式Hbase环境配置以及利用Java API创建表
shenhongdb的博客
07-15 1328
在搭建Hbase环境前需要先配置Hadoop环境（本人的环境是ubutun，hadoop-2.7.0，hbase-1.1.10），Hadoop的版本和hbase的版本需匹配，否则环境可能配置不成功。 首先，下载好对应的压缩包（建议在Apache官网上下载）。 然后解压下好的压缩包 接着分别对conf中的hbase-site.xml、regionservers、hbase-env.sh进行配置 1
hbase的javaapi操作之过滤器fillter
枣泥馅的博客
04-15 790
hbase的javaapi操作之过滤器fillter 过滤器：相当于where语句 因为列值过滤器都属于表的操作，属于DML语句，所以我们使用链接来获取表，再用表进行操作 而这个过滤器最终是塞到了SCAN对象中进行操作的，相当于select * from emp where 测试数据：员工表 （）列值过滤器 列值过滤器就是某一列的是多少的行 （）列名前缀过滤器 （）多个列名前缀过滤器 （）rowk...
hbase java api 查询_hbase查询api的基本使用
weixin_29928877的博客
02-13 915
HBase是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。项目中用到了hbase数据库，因为查询方式和以前用过的数据库很不同所以，想将摸索过程记录下来以便之后查看。hbase查询最大的不同在于它使用了rowkey，通过扫描rowkey可以最快速的对数据进行查询，所以在建表初期rowkey的设计工...
Java操作HBase：建表、删表及数据增删改查实战
这篇博客主要介绍了如何使用Java编程语言来操作HBase数据库，涵盖了建表、删表以及数据的增删改查和条件查询等基本操作。HBase是一种分布式、版本化、基于列族的NoSQL数据库，常用于处理大规模数据。 在开始之前，...
Hbase学习笔记：Hbase常用API（增删改查）
lrxcmwy2的博客
08-06 5963
Hbase常用的API 以学生表为例写的
HBase--JavaAPI的操作，创建表修改表，增删改查数据
SOARING
04-30 4035
DDL： public class HbaseClientDemo { Connection conn = null; @Before public void getConn() throws Exception{ // 构建一个连接对象 Configuration conf = HBaseConfiguration.create(); // 会自动加载hbase-site...
HBase 系列（六）——HBase Java API 的基本使用
黑白影的博客
06-07 756
一、简述 截至到目前(2019.04)，HBase 有两个主要的版本，分别是1.x 和 2.x ，两个版本的Java API有所不同，1.x 中某些方法在2.x中被标识为@deprecated过时。所以下面关于API的样例，我会分别给出1.x和2.x两个版本。完整的代码见本仓库： Java API 1.x Examples Java API 2.x Examples 同时你使用的客户端的版...
java操作Hbase之Hbase专用过滤器PageFilter的使用源代码
01-17
java操作Hbase之Hbase专用过滤器PageFilter的使用源代码，附带全部所需源代码，欢迎下载学习。
hbase java api 访问 查询、分页
11-24
hbase java api 访问 查询、分页 详情请看：http://blog.csdn.net/wild46cat/article/details/53321409
java操作Hbase之比较过滤器RowFilter的使用源码
01-17
java操作Hbase之比较过滤器RowFilter的使用源码，附带所需全部jar包，欢迎下载学习。
HBase Java 过滤器
weixin_46192593的博客
07-27 383
大数据相关博客的目录 HBase过滤器 过滤器简介 HBase过滤器可以提供多个纬度对数据进行筛选，类似于SQL中的WHERE条件。 过滤器可以根据如下纬度进行过滤： 行键 列簇 列 单元格 时间戳 组合过滤 HBase过滤器使用方法 ​ // do something ​ TableName tableName = TableName.valueOf("表名"); Tabl...
HBase1.2.4使用Java API创建和删除Table示例程序
syb18810107241的专栏
11-20 3340
刚开始接触Java API操作HBase，碰到了zookeeper，hbase的配置问题，后来报错：HMaser is not running的错误，最后从HBase官网找了一段Java操作HBase的Demo，稍微改动一下，运行成功了！直接上代码： import org.apache.hadoop.conf.Configuration; import org.apache.hadoo
hbase shell及 java api的过滤器操作
....
10-24 2278
一. hbase shell的filter操作 1. 不设置过滤器,全表扫描 scan '表名' //查询出某个表格内全部的数据记录 举例 : scan 'upos_city_qh_yushu:tb_detail_userloc_outdoor_22180822' 查询结果如下(截取了其中一个行键的内容) : 因为hbase的shell脚本操作十分不方便,并且不支持查看上下文,对我们使用者...
java自定义 filter,HBase自定义Filter
weixin_42561249的博客
03-10 337
必需要提前说明下：不建议使用自定义的Filter。所有的Filter都是在服务端生效：就是说需要将自定义的Filter封装为jar，上传到HBase的类路径下，并重启HBase使之生效。对于生产环境的HBase来说，重启通常是不能接受的。Filter的设置是在客户端完成的，而Filter的逻辑是在HBase的服务端完成的，中间需要一次序列化。我试过几种序列化方案，不过protobuffer以外的其...
java使用hbase过滤器
zzds111的博客
12-05 3509
1.什么是过滤器 过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤， 基于 HBase 本身提供的三维有序（行键，列，版本有序），这些过滤器可以高效地完成查询过滤的任务，带有过滤器条件的 RPC 查询请求会把过滤器分发到各个 RegionServer（这是一个服务端过滤器），这样也可以降低网络传输的压力。 2.比较运算符 LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREAT
hbase java操作api - 过滤器Filter使用
小哇
09-13 2885
过滤器（Filter） 　　基础API中的查询操作在面对大量数据的时候是非常苍白的，这里Hbase提供了高级的查询方法：Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤，基于Hbase本身提供的三维有序（主键有序、列有序、版本有序），这些Filter可以高效的完成查询过滤的任务。带有Filter条件的RPC查询请求会把Filter分发到各个RegionServer，是一个服务器端（Server-side）的过滤器，这样也可以降低网络传输的压力。 　　要完成一个过滤的操作，至少需
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值