HBase之java api接口调用与mapreduce整合即从hdfs中通过mapreduce来导入数据到hbase中

本文详细介绍了如何使用HBase的Java API进行表操作,包括删除表、查询数据(Scan和Get方法)、更新记录(Put方法)。此外,还讲解了如何将HDFS中的数据通过MapReduce导入到HBase,提供了Map和Reduce函数的示例代码,并给出了执行Hadoop job的命令。
摘要由CSDN通过智能技术生成

此篇分为两部分来探讨,第一部分是hbase的java api接口,第二部分是hbase与mapreduce整合

一、hbase之java api接口

hbase是基于java写的,所以当然可以调用java api一样通过java代码来操纵hbase,可以实现基本的查询hbase表,向hbase表上传某一条记录等操作。那么首先需要依赖一些基本的hbase的maven的jar包,lz是在idea的ide中操作,具体需要添加的jar包如下:

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.sunwangdong.hadoop.test</groupId>
    <artifactId>jkxy</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.7.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>   //hbase的jar包,主要有hbase,hbase-client、hbase-server三个
            <artifactId>hbase</artifactId>
            <version>1.2.6</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>1.2.6</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>1.2.6</version>
        </dependency>
    </dependencies>
</project>
添加完依赖包后,依次来写一些基本的操作,首先是建hbase表的操作,如下:

private static void createTable(HBaseAdmin hBaseAdmin) throws IOException
    {
        if(!hBaseAdmin.tableExists(TABLE_NAME))  //判断是否存在以"hello"为表名的表
        {
            HTableDescriptor hTableDescriptor = new HTableDescriptor(TABLE_NAME); //表名
            HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(FAMILY_NAME); //列族
            hTableDescriptor.addFamily(hColumnDescriptor);  //表添加列族
            hBaseAdmin.createTable(hTableDescriptor);    //添加表


        }
    }
这里主要通过基本类,分别是HTableDescriptor,这个类表示的是表名,可以通过它的构造函数,为它添加具体的表名。然后是HColumnDescriptor类,这个类表示的是列族,通过HTableDescriptor.addFamily(HColumnDescriptor)来为表添加具体的列族。此外还有一个HBaseAdmin接口,这个接口是用来管理hbase数据库的表信息,提供的方法有:创建表、删除表、列出表项等操作,可以通过HBaseAdmin.createTable(HTableDescriptor)来创建一张表。

然后是删除表:

private static void dropTable(HBaseAdmin hBaseAdmin) throws IOException
    {
        if(hBaseAdmin.tableExists(TABLE_NAME))  //是否存在改表
        {
            hBaseAdmin.disableTable(TABLE_NAME);   //先要disable表
            hBaseAdmin.deleteTable(TABLE_NAME);    //然后再delete表
        }
    }
先判断要删除的表是否在hbase数据库中,如果存在,那么调用deleteTable实现删除操作,当然在执行删除操作之前,往往需要先disable那张表,用于使那张表先失效,然后再删除。

接下来是查看数据,具体有两种方法,分别是scan和get方法,分别对应hbase的scan和get方法

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值