【大数据计算】(二) HBase 的安装和基础编程_singlecolumvaluefilter介绍

于 2024-05-15 02:37:53 发布
阅读量1k 收藏 18
点赞数 15
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84573531/article/details/138880439
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

1.4 查看HBase版本信息

hbase version

在这里插入图片描述

2. HBase的配置

2.1 单机模式配置

2.1.1 配置hbase-env.sh文件
sudo vim /usr/local/hbase/conf/hbase-env.sh

在这里插入图片描述

2.1.2 配置hbase-site.xml
sudo vim /usr/local/hbase/conf/hbase-site.xml
2.1.3 启动Hbase
  • 先启动hadoop
start-dfs.sh
  • 再启动hbase
start-hbase.sh
  • jps出现下面这些即可
    在这里插入图片描述
  • 停止 HBase 运行
stop-hbase.sh
  • 停止Hadoop的运行
stop-dfs.sh

2.2 伪分布模式配置

2.2.1 配置hbase-site.xml

在这里插入图片描述

3. HBase常用的Shell命令

3.1 在HBase中创建表

create 'student','Sname','Ssex','Sage','Sdept','course'

在这里插入图片描述

3.2 添加数据

put 'student','95001','Sname','LiYing'

在这里插入图片描述

put 'student','95001','Ssex','male'

在这里插入图片描述

3.3 查看数据

get 'student','95001'

在这里插入图片描述

3.4 删除数据

在 Hbase 中用 delete 以及 deleteall 命令进行删除数据操作
区别：
delete 用于删除一个单元格数据，是 put 的反向操作；
deleteall 用于删除一行数据

delete 'student','95001','Ssex'

在这里插入图片描述

3.5 删除表

删除表需要分两步操作
第一步先让该表不可用，第二步删除表。
比如，要删除student表，可以使用如下命令：

disable 'student'


drop 'student'

在这里插入图片描述

3.6 查询历史记录

  • 先创建一个teacher表
create 'teacher',{NAME=>'username',VERSIONS=>5}
  • 不断put数据
    在这里插入图片描述

查询时，默认情况下回显示当前最新版本的数据，如果要查询历史数据，需要指定查询的历史版本数，由于上面设置了保存版本数为5，所以，在查询时制定的历史版本数的有效取值为1到5，具体命令如下：

get 'teacher','91001', {COLUMN=>'username',VERSIONS=>3}

下面是查询版本号为3的
在这里插入图片描述

3.7 退出HBase数据库

exit

在这里插入图片描述

4. HBase编程实践

  1. 在IDEA创建项目
  2. 为项目添加需要用到的JAR包

JAR包位于HBase安装目录下
如位于：/usr/local/hbase/lib目录下，单击界面中的Libraries选项卡，再单击界面右侧的Add External JARs按钮，选中/usr/local/hbase/lib目录下的所有JAR包，点击OK，继续添加JAR包，选中client-facing-thirdparty下的所有JAR文件，点击OK。

  1. 编写Java应用程序
    如果程序里面示例网址“hdfs://localhost:9000/hbase”，运行时出错，可以把” localhost ”改成” master ”。
  2. 编译运行

4.1 编程题 API文档

4.1.1 第一题

在这里插入图片描述

利用4中的程序，创建上表：表scores的概念视图如上图所示

  • 用学生的名字name作为行键（rowKey）
  • 年级grade是一个只有一个列的列族
  • score是一个列族。
  • 每一门课程都是score的一个列，如English、math、Chinese等。score 的列可以随时添加。

添加如下数据：

NameGradeEnglishMathChinese
Leelei6788890
Dandan69510092
Sansan6679960
Zhanshan6666666
  • 创建表
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.\*;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.HBaseConfiguration;
import java.io.IOException;

public class Create {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }

    public static void CreateTable(String tableName) throws IOException {
        if (admin.tableExists(TableName.valueOf(tableName))) {
            System.out.println("Table Exists!!!");
        }
        else{
            HTableDescriptor tableDesc = new HTableDescriptor(tableName);
            tableDesc.addFamily(new HColumnDescriptor("grade"));
            tableDesc.addFamily(new HColumnDescriptor("score"));
            tableDesc.addFamily(new HColumnDescriptor("score.english"));
            tableDesc.addFamily(new HColumnDescriptor("score.math"));
            tableDesc.addFamily(new HColumnDescriptor("score.chinese"));
            admin.createTable(tableDesc);
            System.out.println("Create Table Successfully .");
        }
    }

    public static void main(String[] args) {
        String tableName = "scores\_zqc";
        try {
            init();
            CreateTable(tableName);
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

  • 插入数据
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.\*;
import java.io.IOException;

public class Insert {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }

    public static void InsertRow(String tableName, String rowKey, String colFamily, String col, String val) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowKey.getBytes());
        put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
        System.out.println("Insert Data Successfully");
        table.put(put);
        table.close();
    }

    public static void main(String[] args) {
        String tableName = "scores\_zqc";
        String[] RowKeys = {
                "dandan",
                "sansan",
        };
        String[] Grades = {
                "6",
                "6",
        };
        String[] English = {
                "95",
                "87"
        };
        String[] Math = {
                "100",
                "95",
        };
        String[] Chinese = {
                "92",
                "98",
        };
        try {
            init();
            int i = 0;
            while (i < RowKeys.length){
                InsertRow(tableName, RowKeys[i], "grade", "", Grades[i]);
                InsertRow(tableName, RowKeys[i], "score", "english", English[i]);
                InsertRow(tableName, RowKeys[i], "score", "math", Math[i]);
                InsertRow(tableName, RowKeys[i], "score", "chinese", Chinese[i]);
                i++;
            } //031904102 zqc
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

  • hbase shell中查看数据

在这里插入图片描述

4.1.2 第二题

创建并插入相关数据后，查看Hbase java api 文档
在ExampleForHBase 类中添加两个个函数分别实现一个rowKey 过滤器（RowFilter）以及一个单列值过滤器(SingleColumValueFilter)；
之后通过这两个函数分别做如下查询：

  • 插入成功
    在这里插入图片描述
  1. 查询Zhangshan 的年级以及相关成绩，打印在控制台中并截图。
  2. 查询数学成绩低于100的所有人的名字，打印在控制台中并截图。
  • 插入数据
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.\*;

import java.io.IOException;

public class InsertTwo {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){


![img](https://img-blog.csdnimg.cn/img_convert/93f24efbd6a638e58bc856fd7a117d6c.png)
![img](https://img-blog.csdnimg.cn/img_convert/801eec984dba9c2351098ac1a7c6fc29.png)
![img](https://img-blog.csdnimg.cn/img_convert/5565b827724cdae8be84e382a7b3a700.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

 try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){


[外链图片转存中...(img-CIs7z0l9-1715711850516)]
[外链图片转存中...(img-77oHKpw1-1715711850516)]
[外链图片转存中...(img-ll4WHSVs-1715711850516)]

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
2401_84573531
关注
专栏目录
Hbase过滤器之 单列值过滤器（SingleColumnValueFilter） 版本hbase 2.1.0
right_hou的博客
09-05 4501
单列值过滤器（SingleColumnValueFilter） 用法一：单列值信息过滤器（ SingleColumnValueFilter） 过滤出具体行记录 /** * 通过具体列（col）的查询表相关记录 * @param tableName 表 * @param family 列族名 * @param col...
Hbase数据过滤器之SingleColumnValueFilter
Baron_ND的博客
07-10 3686
当我们使用Flink获取hbase数据的时候，要想使用Hbase实现快速查询的功能，还能有过滤的作用，这时候就需要加入过滤器了，但是多个过滤器之前的使用需要一些注意，百度真的是坑，都是复制的，以下就是SingleColumnValueFilter 需要注意的一些点。 1.我们如果有多个值过滤，可以将每个过滤器加入到FilterList 里面，然后再scan.setFilter(list)； 2.注意的细节就是我们使用的每个过滤器里的字段必须要加入到扫描的列值中，scan.addColumn(FAMIL.
hbase的过滤 Filter 之SingleColumnValueFilter
热门推荐
luyee2010的专栏
12-28 1万+
scan的操作： hbase(main):002:0> scan 'scores' ROW                              COLUMN+CELL                                                                                    zkb
HBase shell 使用SingleColumnValueFilter
杂记
07-13 3994
HBase shell 使用SingleColumnValueFilter
【大数据计算】(二) HBase 的安装和基础编程_singlecolumvaluefilter介绍(1)
最新发布
2401_84170414的博客
04-28 850
如位于：/usr/local/hbase/lib目录下，单击界面中的Libraries选项卡，再单击界面右侧的Add External JARs按钮，选中/usr/local/hbase/lib目录下的所有JAR包，点击OK，继续添加JAR包，选中client-facing-thirdparty下的所有JAR文件，点击OK。利用4中的程序，创建上表：表scores的概念视图如上图所示。创建并插入相关数据后，查看Hbase java api 文档。用于删除一个单元格数据，是 put 的反向操作；
大数据技术基础实验报告-HBase安装配置和应用实践.doc
08-21
【大数据技术基础实验报告-HBase安装配置和应用实践】 这篇实验报告主要涵盖了HBase的安装、配置以及基本应用，这是大数据技术中一个重要的组件，它是一个分布式的、面向列的数据库，尤其适合处理大规模的数据。 1...
大数据题库_大数据_大数据；_hive；_hbase等；_hadoop；_
10-04
本题库主要关注大数据技术，特别是Hadoop、HBase和Hive等组件的应用和理解。 首先，Hadoop是Apache软件基金会的一个开源项目，核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce计算框架。...
大数据基础编程、实验和案例教程 第2版
03-20
最后，Spark作为快速、通用且可扩展的大数据处理框架，书中的Spark安装和基础编程部分，将引导读者进入大数据实时处理的世界。 该书还提供了一系列大数据实验综合案例，旨在让读者将所学知识应用于实际场景，提升...
大数据实验Hbase安装部署和使用javaapi调用.pdf
11-02
【大数据实验Hbase安装部署和使用javaapi调用】 在这个实验中，我们将深入理解HBase在Hadoop生态系统中的角色，并掌握如何在Ubuntu 19.04操作系统上安装、配置和使用HBase，同时利用Java API进行编程。实验中使用的...
尚硅谷大数据技术之HBase1
08-04
在本篇关于“尚硅谷大数据技术之HBase1”的教程中，我们将重点探讨HBase的安装和配置过程，包括Zookeeper、Hadoop的部署，以及HBase自身的设置和启动服务。 首先，Zookeeper是HBase的重要组件，它作为分布式协调...
HBase javaAPI（三）：HBase过滤查询（filter）之列值过滤器SingleColumnValueFilter
czy的博客
10-24 5042
HBase过滤器（filter）提供了强大得功能来帮助用户筛选需要的数据。 HBase中的get、scan都支持过滤器，，过滤器在服务端生效，这样可以保证被过滤掉的数据不会被传送到客户端，从而提高了代码运行的效率。 过滤器的执行流程： 过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤，基于HBase 本身提供的三维有序（行键，列，版本有序），这些过滤器可以高效地完成查询过滤的任务...
hbase SingleColumnValueFilter用法
xuanyuan0000的专栏
01-09 1万+
网上很多博客是这样使用的： Filter filter = new SingleColumnValueFilter( Bytes.toBytes("column1"), null, CompareOp.EQUAL, Bytes.toBytes("aaa")); // 当列column1的值为aaa时进行查询 Scan s = new Scan(); s.setFilter(filte
HBase的java代码开发（通过scan进行全表扫描）
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-18 1万+
第一步：创建maven工程，导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> ...
关于HBase的SingleColumnValueFilter的坑
whoami_zy的博客
12-14 7025
由于某些需求，我们在查询hbase的时候，经常需要用到Filter。使用filter过滤来得到我们想要得到的值。 使用场景：我们需要通过Hbase里面的某些列的组合来查找符合这些条件的行。类似于mysql里面的where条件查询。根据列来查询。 下面是通过三列中的三个数据来查询到符合这三列的所有数据。 一般情况下，我们通过列来查询值，可能需要多个列组合的过滤。思路就是先创建一个FilterL
使用SingleColumnValueFilter实现Hbase列字段过滤
胡杨的知识库
08-14 1094
public static void QueryByCondition(String tableName, String v1) { try { Connection connection = ConnectionFactory.createConnection(conf); HTable htable = (HTable) ...
hbase的SingleColumnValueFilter和addColumn的坑
bradyM的博客
04-20 1027
问题： 最近在查一张Hbase表时，设定单列过滤器，取time列时间为某一天的数据： filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes("cf"), Bytes.toBytes("time"), CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryComparator(B...
hbase内置过滤器SingleColumnValueFilter条件查询注意点
wyyrockking的博客
10-20 1645
1.今天查询hbase时，加了一个d:ufr的过滤，导致查询失效。原来是因为规定了查询返回的列，而d：ufr不在这些列中导致查询失败。如果不限定返回的列则不会出现这种什么也查询不到的情况。 2.SingleColumnValueFilter支持某一列多次不等于（CompareOp.NOT_EQUAL）判断，但不支持某一列多次等于（CompareOp.EQUAL）判断。
hbase 常用过滤器相关知识（SingleColumnValueFiter、正则过滤器等）及踩坑
管它是人是狐还是萨摩耶的博客
10-15 1090
整理一下最近工作实际开发用到的各种情况吧，持续更新。因为公司内网，纯手打，兄弟们采纳的时候报错见谅，欢迎评论指出。 1. SingleColumnValueFiter 作用：用一列的值决定这一行的数据是否被过滤 //添加过滤器 //用于综合使用多个过滤器 其实严格来说也是一种过滤器 FilterList filterList = new FilterList(); Singleolu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值