HBase框架学习（基础实践篇）

最新推荐文章于 2024-04-12 04:50:04 发布
最新推荐文章于 2024-04-12 04:50:04 发布
阅读量311 收藏
点赞数
分类专栏： HBase

一、HBase的安装配置

1.1 伪分布模式安装

　　伪分布模式安装即在一台计算机上部署HBase的各个角色，HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。

　　首先，准备好HBase的安装包，我这里使用的是HBase-0.94.7的版本，已经上传至百度网盘之中（URL：http://pan.baidu.com/s/1pJ3HTY7）

　　（1）通过FTP将hbase的安装包拷贝到虚拟机hadoop-master中，并执行一系列操作：解压缩、重命名、设置环境变量

　　①解压缩：tar -zvxf hbase-0.94.7-security.tar.gz

　　②重命名：mv hbase-94.7-security hbase

　　③设置环境变量：vim /etc/profile，增加内容如下，修改后重新生效：source /etc/profile

export HBASE_HOME=/usr/local/hbase

export PATH=.:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH

　　（2）进入hbase/conf目录下，修改hbase-env.sh文件：

export JAVA_HOME=/usr/local/jdk
export HBASE_MANAGES_ZK=true #告诉HBase使用它自己的zookeeper实例，分布式模式下需要设置为false

　　（3）在hbase/conf目录下，继续修改hbase-site.xml文件：

<property>
　　<name>hbase.rootdir</name>
　　<value>hdfs://hadoop-master:9000/hbase</value>
</property>
<property>
　　<name>hbase.cluster.distributed</name>
　　<value>true</value>
</property>
<property>
　　<name>hbase.zookeeper.quorum</name>
　　<value>hadoop-master</value>
</property>
<property>
　　<name>dfs.replication</name>
　　<value>1</value>
</property>

　　（4）【可选步凑】修改regionservers文件，将localhost改为主机名：hadoop-master

　　（5）启动HBase：start-hbase.sh

PS：由上一篇可知，HBase是建立在Hadoop HDFS之上的，因此在启动HBase之前要确保已经启动了Hadoop，启动Hadoop的命令是：start-all.sh

　　（6）验证是否启动HBase：jps

　　

　　由上图发现，多了三个java进程：HMaster、HRegionServer以及HQuorumPeer。

　　还可以通过访问HBase的Web接口查看：http://hadoop-master:60010

1.2 分布式模式安装

　　本次安装在1.1节的伪分布模式的基础上进行修改搭建分布式模式，本次的集群实验环境结构如下图所示：

　　由上图可知，HMaster角色是192.168.80.100（主机名：hadoop-master），而两个HRegionServer角色则是两台192.168.80.101（主机名：hadoop-slave1）和192.168.80.102（主机名：hadoop-slave2）组成的。

　　（1）修改hadoop-master服务器上的的几个关键配置文件：

　　①修改hbase/conf/hbase-env.sh：将最后一行修改为如下内容

export HBASE_MANAGES_ZK=false  #不使用HBase自带的zookeeper实例

　　②修改hbase/conf/regionservers：将原来的hadoop-master改为如下内容

hadoop-slave1

hadoop-slave2

　　（2）将hadoop-master上的hbase文件夹与/etc/profile配置文件整体复制到hadoop-slave1与hadoop-slave2中：

scp -r /usr/local/hbase hadoop-slave1:/usr/local/　　

scp -r /usr/local/hbase hadoop-slave2:/usr/local/

scp /etc/profile hadoop-slave1:/etc/

scp /etc/profile hadoop-slave2:/etc/

　　（3）在hadoop-slave1与hadoop-slave2中使配置文件生效：

source /etc/profile

　　（4）在hadoop-master中启动Hadoop、Zookeeper与HBase：（注意先后顺序）

start-all.sh

zkServer.sh start

start-hbase.sh

　　（5）在HBase的Web接口中查看Hbase集群状态：

二、HBase Shell基本命令

2.1 DDL：创建与删除表

　　（1）创建表：

>create 'users','user_id','address','info'

#这里创建了一张表users,有三个列族user_id,address,info

　　获取表users的具体描述：

>describe 'users'

　　（2）列出所有表：

>list

　　

　　（3）删除表：在HBase中删除表需要两步，首先disable，其次drop

>disable 'users'

>drop 'users'

2.2 DML：增删查改

　　（1）增加记录：put

>put 'users','xiaoming','info:age','24';

>put 'users','xiaoming','info:birthday','1987-06-17';

>put 'users','xiaoming','info:company','alibaba';

>put 'users','xiaoming','address:contry','china';

>put 'users','xiaoming','address:province','zhejiang';

>put 'users','xiaoming','address:city','hangzhou';

　　（2）扫描users表的所有记录：scan

>scan 'users'

　　（3）获取一条记录

　　①取得一个id（row_key）的所有数据

>get 'users','xiaoming'

　　②获取一个id的一个列族的所有数据

>get 'users','xiaoming','info'

　　③获取一个id，一个列族中一个列的所有数据

>get 'users','xiaoming','info:age'

　　（4）更新一条记录：依然put

　　例如：更新users表中小明的年龄为29

>put 'users','xiaoming','info:age' ,'29'

>get 'users','xiaoming','info:age

　　（5）删除记录：delete与deleteall

　　①删除xiaoming的值的'info:age'字段

>delete 'users','xiaoming','info:age'

　　②删除xiaoming的整行信息

>deleteall 'users','xiaoming'

2.3 Other：其他几个比较有用的命令

　　（1）count：统计行数

>count 'users'

　　（2）truncate：清空指定表

>truncate 'users'

三、HBase Java API操作

3.1 预备工作

　　（1）导入HBase的项目jar包

　　（2）导入HBase/lib下的所有依赖jar包

3.2 HBase Java开发必备：获取配置

复制代码 
    /*
     * 获取HBase配置
     */
    private static Configuration getConfiguration()
    {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.rootdir","hdfs://hadoop-master:9000/hbase");
        //使用eclipse时必须添加这个，否则无法定位
        conf.set("hbase.zookeeper.quorum","hadoop-master");
        
        return conf;
    }
复制代码

3.3 使用HBaseAdmin进行DDL操作

　　（1）创建表

复制代码 
　　 /*
     * 创建表
     */
    private static void createTable()
            throws IOException {
        HBaseAdmin admin = new HBaseAdmin(getConfiguration());
        if (admin.tableExists(TABLE_NAME)) {
            System.out.println("The table is existed!");
        }else{
            HTableDescriptor tableDesc = new HTableDescriptor(TABLE_NAME);
            tableDesc.addFamily(new HColumnDescriptor(FAMILY_NAME));
            admin.createTable(tableDesc);
            System.out.println("Create table success!");
        }
    }
复制代码

　　（2）删除表

复制代码 
    /*
     * 删除表
     */
    private static void dropTable(String tableName)
            throws IOException {        
        HBaseAdmin admin = new HBaseAdmin(getConfiguration());
        if(admin.tableExists(tableName)){
            try {
              admin.disableTable(tableName);
              admin.deleteTable(tableName);
            } catch (IOException e) {
              e.printStackTrace();
              System.out.println("Delete "+tableName+" failed!");
            }
        }
        System.out.println("Delete "+tableName+" success!");
    }
复制代码

3.4 使用HTable进行DML操作

　　（1）新增记录

复制代码 
    public static void putRecord(String tableName, String row, 
            String columnFamily, String column, String data) 
                    throws IOException{
        HTable table = new HTable(getConfiguration(), tableName);
        Put p1 = new Put(Bytes.toBytes(row));
        p1.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column),     Bytes.toBytes(data));
        table.put(p1);
        System.out.println("put'"+row+"',"+columnFamily+":"+column+"','"+data+"'");
    }
复制代码

　　（2）读取记录

    public static void getRecord(String tableName, String row) throws IOException{
        HTable table = new HTable(getConfiguration(), tableName);
        Get get = new Get(Bytes.toBytes(row));
        Result result = table.get(get);
        System.out.println("Get: "+result);
    }

　　（3）全表扫描

复制代码 
    public static void scan(String tableName) throws IOException{
    　　HTable table = new HTable(getConfiguration(), tableName);
    　　Scan scan = new Scan();
    　　ResultScanner scanner = table.getScanner(scan);
    　　for (Result result : scanner) {
        　　System.out.println("Scan: "+result);
    　　}
    }
复制代码

3.5 API实战：详单入库

 　　结合本笔记第五篇《自定义类型处理手机上网日志》的手机上网日志为背景，我们要做的就是将日志通过MapReduce导入到HBase中进行存储。该日志的数据结构定义如下图所示：（该文件的下载地址为：http://pan.baidu.com/s/1dDzqHWX）

log

　　（1）在HBase中通过Shell创建一张表：wlan_log

> create 'wlan_log','cf'

　　这里为了简单定义，之定义了一个列族cf

　　（2）在ecplise中新建一个类：BatchImportJob，该类的代码如下所示：

package hbase;

import java.text.SimpleDateFormat;
import java.util.Date;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;

public class BatchImportJob {

    static class BatchImportMapper extends
            Mapper<LongWritable, Text, LongWritable, Text> {
        
        SimpleDateFormat dateformat1 = new SimpleDateFormat("yyyyMMddHHmmss");
        Text v2 = new Text();

        protected void map(LongWritable key, Text value, Context context)
                throws java.io.IOException, InterruptedException {
            final String[] splited = value.toString().split("\t");
            try {
                final Date date = new Date(Long.parseLong(splited[0].trim()));
                final String dateFormat = dateformat1.format(date);
                String rowKey = splited[1] + ":" + dateFormat;
                v2.set(rowKey + "\t" + value.toString());
                context.write(key, v2);
            } catch (NumberFormatException e) {
                final Counter counter = context.getCounter("BatchImportJob",
                        "ErrorFormat");
                counter.increment(1L);
                System.out.println("出错了" + splited[0] + " " + e.getMessage());
            }
        };
    }

    static class BatchImportReducer extends
            TableReducer<LongWritable, Text, NullWritable> {
        protected void reduce(LongWritable key,
                java.lang.Iterable<Text> values, Context context)
                throws java.io.IOException, InterruptedException {
            for (Text text : values) {
                final String[] splited = text.toString().split("\t");

                final Put put = new Put(Bytes.toBytes(splited[0]));
                put.add(Bytes.toBytes("cf"), Bytes.toBytes("date"),
                        Bytes.toBytes(splited[1]));
                put.add(Bytes.toBytes("cf"), Bytes.toBytes("msisdn"),
                        Bytes.toBytes(splited[2]));
                // 省略其他字段，调用put.add(....)即可
                context.write(NullWritable.get(), put);
            }
        };
    }

    public static void main(String[] args) throws Exception {
        final Configuration configuration = new Configuration();
        // 设置zookeeper
        configuration.set("hbase.zookeeper.quorum", "hadoop-master");
        // 设置hbase表名称
        configuration.set(TableOutputFormat.OUTPUT_TABLE, "wlan_log");
        // 将该值改大，防止hbase超时退出
        configuration.set("dfs.socket.timeout", "180000");

        final Job job = new Job(configuration, "HBaseBatchImportJob");

        job.setMapperClass(BatchImportMapper.class);
        job.setReducerClass(BatchImportReducer.class);
        // 设置map的输出，不设置reduce的输出类型
        job.setMapOutputKeyClass(LongWritable.class);
        job.setMapOutputValueClass(Text.class);

        job.setInputFormatClass(TextInputFormat.class);
        // 不再设置输出路径，而是设置输出格式类型
        job.setOutputFormatClass(TableOutputFormat.class);

        FileInputFormat.setInputPaths(job, "hdfs://hadoop-master:9000/testdir/input/HTTP_20130313143750.dat");

        boolean success = job.waitForCompletion(true);
        if (success) {
            System.out.println("Bath import to HBase success!");
            System.exit(0);
        } else {
            System.out.println("Batch import to HBase failed!");
            System.exit(1);
        }
    }

}

　　通过执行后，在HBase中通过Shell命令（list）查看导入结果：

　　（3）在eclipse中新建一个类：MobileLogQueryApp，对已经存储的wlan_log进行查询的Java开发，该类的代码如下所示：

package hbase;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;

public class MobileLogQueryApp {

    private static final String TABLE_NAME = "wlan_log";
    private static final String FAMILY_NAME = "cf";

    /**
     * HBase Java API基本使用示例
     * 
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        scan(TABLE_NAME,"13600217502");
        System.out.println();
        scanPeriod(TABLE_NAME, "136");
    }

    /*
     * 查询手机13600217502的所有上网记录
     */
    public static void scan(String tableName, String mobileNum)
            throws IOException {
        HTable table = new HTable(getConfiguration(), tableName);
        Scan scan = new Scan();
        scan.setStartRow(Bytes.toBytes(mobileNum + ":/"));
        scan.setStopRow(Bytes.toBytes(mobileNum + "::"));
        ResultScanner scanner = table.getScanner(scan);
        int i = 0;
        for (Result result : scanner) {
            System.out.println("Scan: " + i + " " + result);
            i++;
        }
    }

    /*
     * 查询134号段的所有上网记录
     */
    public static void scanPeriod(String tableName, String period)
            throws IOException {
        HTable table = new HTable(getConfiguration(), tableName);
        Scan scan = new Scan();
        scan.setStartRow(Bytes.toBytes(period + "/"));
        scan.setStopRow(Bytes.toBytes(period + ":"));
        scan.setMaxVersions(1);
        ResultScanner scanner = table.getScanner(scan);
        int i = 0;
        for (Result result : scanner) {
            System.out.println("Scan: " + i + " " + result);
            i++;
        }
    }

    /*
     * 获取HBase配置
     */
    private static Configuration getConfiguration() {
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.rootdir", "hdfs://hadoop-master:9000/hbase");
        // 使用eclipse时必须添加这个，否则无法定位
        conf.set("hbase.zookeeper.quorum", "hadoop-master");

        return conf;
    }

}

　　这里主要进行了两个查询操作：按指定手机号码查询 和 按指定手机号码网段区间查询，执行结果如下所示：

参考资料

　　（1）吴超，《Hadoop深入浅出》：http://www.superwu.cn

　　（2）新城主力唱好，《HBase Java API》：http://www.cnblogs.com/NicholasLee/archive/2012/09/13/2683432.html

 

WF_事难懂
关注
专栏目录
一条数据的HBase之旅，简明HBase入门教程-开篇
nosqlnotes的博客
03-21 2万+
这是HBase入门系列的第1篇文章，介绍HBase的数据模型、适用场景、集群关键角色、建表流程以及所涉及的HBase基础概念，本文内容基于HBase 2.0 beta2版本。本文既适用于HBase新手，也适用于已有一定经验的HBase开发人员。一些常见的HBase新手问题什么样的数据适合用HBase来存储？既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉？存放于HBase...
《HBase原理与实践》学习笔记【1-8章 HBase基础知识及其工作原理】
IT小王
06-25 1584
《HBase原理与实践》学习笔记 一、HBase概述 1.1 HBase数据模型 1.1.1 逻辑视图 table：表 row：行 column：列 timestamp：时间戳 cell：单元格 1.1.2 物理视图 HBase中的数据是按照列族存储的，即将数据按照列族分别存储在不同目录中。 1.2 HBase体系结构 1.2.1 Master 主要负责HBase系统的各种管理工作： 处理用户的各种管理请求，包括建表、修改表、权限操作、切分表、合并数据等。 管理集群中的RegionSerer，包括其
Hadoop学习笔记—15.HBase框架学习（基础实践篇）
weixin_33905756的博客
11-18 100
Hadoop学习笔记—15.HBase框架学习（基础实践篇） 一、HBase的安装配置 1.1 伪分布模式安装 　　伪分布模式安装即在一台计算机上部署HBase的各个角色，HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。 　　首先，准备好HBase的安装包，我这里使用的是HBase-0.94.7的版本，已经上传至百度网盘之中（URL：http:/...
Hbase入门及实践
xubaoyong的专栏
06-19 633
Hbase入门及实践 1. hbase安装成功后怎么验证 打开网址验证，浏览器输入[http://localhost:16010) 命令行 ./hbase shell 2. 表相关操作 2.1 查看全部表 hbase(main):001:0> list 2.2. 创建表 语法： create '表名', '列族名1','列族名2','列族名N' create <table>, {NAME => <family>, VERSIONS => <VERSI
【HBase入门与实战】一文搞懂HBase!_hbase入门与实践
最新发布
2401_84183070的博客
04-12 885
定义是一个面向列存储的NoSQL数据库是一个分布式HashMap，底层数据是Key-Value格式使用HDFS作为存储并利用其可靠性什么是【分布式HashMap】？HashMap的本质是用一个简单的值形式映射一个复杂的值形式。HBase通过一个RowKey提取该RowKey下多个列族下多个列的多个值。特点数据访问速度快，响应时间约2~20ms。实时数仓和离线数仓都会用到HBase：实时数仓响应速度快离线数仓宽表列存储。
【HBase入门与实战】一文搞懂HBase!
Byyyi耀的博客
03-16 2118
1.HBase的引入、定义和特点 2.NoSQL数据库的概念和与关系型数据库的区别 3.HBase的物理架构和逻辑架构 4.HBase Shell的基本命令使用 5.HBase的应用场景
《HBase原理与实践》阅读笔记
TNTZS666的博客
02-03 4136
学习笔记一全书概述1.HBase概述1.1.Hbase发展历史1.2.Hbase数据模型1.3.Hbase体系结构1.4.Hbase系统特性2.Hbase基础数据结构与算法2.1.LSM树2.1.1.KeyValue存储格式2.2.跳跃表2.3.布隆过滤器3.Hbase依赖服务3.1.Zookeeper相关3.2.HDFS相关 本博客内容基本整理自《Hbase原理与实践》一书。仅用于个人学习和积...
基础学习hoop编程篇完整版.docx
06-22
本篇文章将带领读者深入了解Hadoop的世界，并掌握实践Hadoop编程所需的知识和技能。 一、基础知识 1. Java基础：Hadoop是一个基于Java的框架，因此掌握Java基础知识是必不可少的。包括掌握Java语法、数据类型、...
零基础学习hadoop编程篇.doc
10-02
总之，零基础学习Hadoop编程，需要从Java基础知识、Hadoop环境配置、MapReduce编程模型等方面着手，通过理论学习与实践操作相结合，逐步提升自己的技能。随着对Hadoop的理解加深，你可以进一步探索Hadoop生态系统中...
零基础学习hadoop编程篇 (3).pdf
05-30
【标题】: "零基础学习Hadoop编程篇 (3).pdf" 【标签】: "互联", "cs" 本文主要探讨了零基础学习Hadoop编程所需的知识点，包括基础的Java编程要求、Hadoop编程注意事项、MapReduce程序创建、Eclipse远程连接、...
hbase入门和使用
01-16
hbase的使用 相关，包括spark、hadoop在hbase的使用，很好的资源。
HBase使用的jar包
01-04
这是hadoop项目中，使用Hbase进行明细查询所需要的jar包
2021-12-22 迈向程序猿的第五十一步
qq_48654729的博客
12-22 1300
目录 一.Hbase的工作机制 1.1 Hbase的寻址机制（重点） 1.2 Hbase的存储机制（重中之重） 1.2.1 存储机制介绍 1.2.2 名词解释 1.3 Hbase的Region管理 1.4 Hbase的读写流程（重点） 1.4.1 Hbase的读流程 1.4.2 Hbase的写流程 1.5 布隆过滤器 1.5.1 简介 1.5.2 原理 1.5.3 Hbase中的布隆过滤器的设置 二.Hbase与Hive,Mapreduce的整合 2.1 Hbase与Hive.
Hbase入门到实战-连载一(基本概念&集群安装&基本使用)
S1124654的博客
07-03 606
Hbase入门到实战-连载一(基本概念&集群安装&基本使用)
HBase入门与实战-曹金博-专题视频课程
caojinbojl的博客
01-16 679
课程内容包括HBase的概念、原理、服务架构、安装部署、集群配置及web环境做了全面详细的讲解。
HBase入门与基本使用
Lambda
10-23 402
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase...
大数据技术原理与应用实验指南——HBase编程实践
qq_57168149的博客
02-16 1468
（1） 熟练使用HBase操作常用的Shell命令。（2） 熟悉HBase操作常用的Java API。（1） 安装HBase软件。（2） 编程实现指定功能，并利用Hadoop提供的Shell命令完成相同的任务（实现增、删、改、查基本操作，统计表的行数，打印表的记录等操作）。FileZilla_3.17.0.0_win64_setup 这是一个用于将windows文件与linux互相传的软件-实验思维导图。
HBase入门
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
04-14 411
HBASE是一个数据库----可以提供数据的实时随机读写 HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库） Hbase的表模型与关系型数据库的表模型不同： Hbase的表没有固定的字段定义； Hbase的表中每行存储的都是一些key-value对 Hbase的表中有列族的划分，用户可以指定将哪些kv插入哪个列族...
Hadoop分布式学习：从基础到实践
"这篇资料是关于基于Hadoop的分布式云计算基础学习，适合初学者，主要讲解了Hadoop在分布式存储和计算系统中的应用，并提到了Hadoop生态系统中的其他组件，如HBase和ZooKeeper。资料引用了Google的三篇经典论文作为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值