【大数据计算】(二) HBase 的安装和基础编程_singlecolumvaluefilter介绍

于 2024-04-30 10:37:40 发布
阅读量636 收藏 13
点赞数 7
分类专栏： 程序员 文章标签： 大数据 hbase 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181942/article/details/138338063
版权

3.7 退出HBase数据库

exit

在这里插入图片描述

4. HBase编程实践

  1. 在IDEA创建项目
  2. 为项目添加需要用到的JAR包

JAR包位于HBase安装目录下
如位于：/usr/local/hbase/lib目录下，单击界面中的Libraries选项卡，再单击界面右侧的Add External JARs按钮，选中/usr/local/hbase/lib目录下的所有JAR包，点击OK，继续添加JAR包，选中client-facing-thirdparty下的所有JAR文件，点击OK。

  1. 编写Java应用程序
    如果程序里面示例网址“hdfs://localhost:9000/hbase”，运行时出错，可以把” localhost ”改成” master ”。
  2. 编译运行

4.1 编程题 API文档

4.1.1 第一题

在这里插入图片描述

利用4中的程序，创建上表：表scores的概念视图如上图所示

  • 用学生的名字name作为行键（rowKey）
  • 年级grade是一个只有一个列的列族
  • score是一个列族。
  • 每一门课程都是score的一个列，如English、math、Chinese等。score 的列可以随时添加。

添加如下数据：

NameGradeEnglishMathChinese
Leelei6788890
Dandan69510092
Sansan6679960
Zhanshan6666666
  • 创建表
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.\*;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.HBaseConfiguration;
import java.io.IOException;

public class Create {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }

    public static void CreateTable(String tableName) throws IOException {
        if (admin.tableExists(TableName.valueOf(tableName))) {
            System.out.println("Table Exists!!!");
        }
        else{
            HTableDescriptor tableDesc = new HTableDescriptor(tableName);
            tableDesc.addFamily(new HColumnDescriptor("grade"));
            tableDesc.addFamily(new HColumnDescriptor("score"));
            tableDesc.addFamily(new HColumnDescriptor("score.english"));
            tableDesc.addFamily(new HColumnDescriptor("score.math"));
            tableDesc.addFamily(new HColumnDescriptor("score.chinese"));
            admin.createTable(tableDesc);
            System.out.println("Create Table Successfully .");
        }
    }

    public static void main(String[] args) {
        String tableName = "scores\_zqc";
        try {
            init();
            CreateTable(tableName);
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

  • 插入数据
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.\*;
import java.io.IOException;

public class Insert {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }

    public static void InsertRow(String tableName, String rowKey, String colFamily, String col, String val) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowKey.getBytes());
        put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
        System.out.println("Insert Data Successfully");
        table.put(put);
        table.close();
    }

    public static void main(String[] args) {
        String tableName = "scores\_zqc";
        String[] RowKeys = {
                "dandan",
                "sansan",
        };
        String[] Grades = {
                "6",
                "6",
        };
        String[] English = {
                "95",
                "87"
        };
        String[] Math = {
                "100",
                "95",
        };
        String[] Chinese = {
                "92",
                "98",
        };
        try {
            init();
            int i = 0;
            while (i < RowKeys.length){
                InsertRow(tableName, RowKeys[i], "grade", "", Grades[i]);
                InsertRow(tableName, RowKeys[i], "score", "english", English[i]);
                InsertRow(tableName, RowKeys[i], "score", "math", Math[i]);
                InsertRow(tableName, RowKeys[i], "score", "chinese", Chinese[i]);
                i++;
            } //031904102 zqc
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

  • hbase shell中查看数据

在这里插入图片描述

4.1.2 第二题

创建并插入相关数据后，查看Hbase java api 文档
在ExampleForHBase 类中添加两个个函数分别实现一个rowKey 过滤器（RowFilter）以及一个单列值过滤器(SingleColumValueFilter)；
之后通过这两个函数分别做如下查询：

  • 插入成功
    在这里插入图片描述
  1. 查询Zhangshan 的年级以及相关成绩，打印在控制台中并截图。
  2. 查询数学成绩低于100的所有人的名字，打印在控制台中并截图。
  • 插入数据
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.\*;

import java.io.IOException;

public class InsertTwo {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //建立连接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭连接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }

    public static void InsertRow(String tableName, String rowKey, String colFamily, String col, String val) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tableName));
        Put put = new Put(rowKey.getBytes());
        put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());
        System.out.println("Insert Data Successfully");
        table.put(put);
        table.close();
    }

    public static void main(String[] args) {
        String tableName = "scores\_zqc\_two";
        String[] RowKeys = {
                "Leelei",
                "Dandan",
                "Sansan",
                "Zhanshan",
        };
        String[] Grades = {
                "6",
                "6",
                "6",
                "6",
        };
        String[] English = {
                "78",
                "95",
                "67",
                "66",
        };
        String[] Math = {
                "78",
                "95",
                "100",
                "66",
        };
        String[] Chinese = {
                "90",
                "92",
                "60",
                "66",
        };
        try {
            init();
            int i = 0;
            while (i < RowKeys.length){
                InsertRow(tableName, RowKeys[i], "grade", "", Grades[i]);
                InsertRow(tableName, RowKeys[i], "score", "english", English[i]);
                InsertRow(tableName, RowKeys[i], "score", "math", Math[i]);
                InsertRow(tableName, RowKeys[i], "score", "chinese", Chinese[i]);
                i++;
            }
            close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

在这里插入图片描述

  • 查询
import java.io.IOException;
import java.util.List;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.Cell;
import org.apache.hadoop.hbase.CellUtil;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp;
import org.apache.hadoop.hbase.filter.Filter;
import org.apache.hadoop.hbase.filter.RowFilter;
import org.apache.hadoop.hbase.filter.SingleColumnValueFilter;
import org.apache.hadoop.hbase.filter.SubstringComparator;
import org.apache.hadoop.hbase.util.Bytes;

public class FindTwo {
    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;

    public static void init() {
        configuration = HBaseConfiguration.create();
        configuration.set("hbase.rootdir", "hdfs://192.168.0.108:9000/hbase");
        try {
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    public static void close() {

        try {
            if(admin !=null) {
                admin.close();
            }
            if(connection !=null) {
                connection.close();
            }
        }catch(IOException e) {
            e.printStackTrace();
        }
    }

    public static void findRowFilter(String tablename,String rowkey) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tablename));
        Scan scan = new Scan();
        System.out.println("RowKey: "+rowkey);
        Filter filter = new RowFilter(CompareOp.EQUAL,new SubstringComparator(rowkey));
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);
        for (Result res : scanner) {
            List<Cell> cells = res.listCells();
            for (Cell cell : cells) {
                // 打印rowkey,family,qualifier,value
                System.out.println(Bytes.toString(CellUtil.cloneRow(cell))
                        + ": " + Bytes.toString(CellUtil.cloneFamily(cell))
                        + ": "+Bytes.toString(CellUtil.cloneQualifier(cell))
                        +": "+ Bytes.toString(CellUtil.cloneValue(cell)) );
            }
        }
        scanner.close();
    }

    public static void findSingleColumValueFilter(String tablename,String colFamily,String col) throws IOException {
        Table table = connection.getTable(TableName.valueOf(tablename));
        Scan scan = new Scan();
        System.out.println("\nthe value of math in colFamily < 100:");
        Filter filter = new SingleColumnValueFilter(Bytes.toBytes(colFamily),
                Bytes.toBytes(col),
                CompareOp.GREATER,
                Bytes.toBytes("100"));
        scan.setFilter(filter);
        ResultScanner scanner = table.getScanner(scan);
        for (Result res : scanner) {
            System.out.println("name: "+Bytes.toString(res.getRow()));
        } 
        scanner.close();
    }

    public static void main(String[] args) throws IOException {
        init();
        findRowFilter("scores\_zqc\_two","Zhanshan");
        findSingleColumValueFilter("scores\_zqc\_two","score","math");
        close();
    }

}

在这里插入图片描述

5. 福利送书

在这里插入图片描述

【内容简介】

  • 《Java多线程与大数据处理实战》对 Java 的多线程及主流大数据中间件对数据的处理进行了较为详细的讲解。
  • 本书主要讲了Java的线程创建方法和线程的生命周期，方便我们管理多线程的线程组和线程池，设置线程的优先级，设置守护线程，学习多线程的并发、同步和异步操作，了解 Java 的多线程并发处理工具（如信号量、多线程计数器）等内容。
  • 引入了 Spring Boot、Spring Batch、Quartz、Kafka 等大数据中间件。这为学习Java 多线程和大数据处理的读者提供了良好的参考。多线程和大数据的处理是许多开发岗位面试中容易被问到的知识点。
  • 学好多线程的知识点，无论是对于日后的开发工作，还是正要前往一线开发岗位的面试准备，都是非常有用的。
  • 本书既适合高等院校的计算机类专业的学生学习，也适合从事软件开发相关行业的初级和中级开发人员。

【评论区】和 【点赞区】 会抽一位粉丝送出这本书籍嗷~

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

开发岗位面试中容易被问到的知识点。

  • 学好多线程的知识点，无论是对于日后的开发工作，还是正要前往一线开发岗位的面试准备，都是非常有用的。
  • 本书既适合高等院校的计算机类专业的学生学习，也适合从事软件开发相关行业的初级和中级开发人员。

【评论区】和 【点赞区】 会抽一位粉丝送出这本书籍嗷~

[外链图片转存中…(img-ChOjEsfl-1714444622745)]
[外链图片转存中…(img-3jhsdcRo-1714444622745)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84181942
关注
  • 7
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
maven安装hbase的依赖包
enjoy
04-17 8774
在xml直接贴入： 若要使用org.apache.hadoop.hbase.mapreduce的API，需要加上： <dependency> <groupId>org.apache.hbase</groupId> <ar...
【大数据计算】(二) HBase 的安装和基础编程_hbase编程，在hbase的安装目录下新建一个目录-lib
最新发布
2401_84617772的博客
04-27 858
小生凡一，期待你的关注。学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
hbase
qq_45382931的博客
12-11 1524
环境安装 java坏境 centos安装java hadoop环境 hadoop安装 hbase配置 vi /etc/profile.d/hadoop-eco.sh 写入： HBASE_HOME=/opt/hbase PATH=$HBASE_HOME/bin:$PATH 生效： source /etc/profile.d/hadoop-eco.sh HBASE安装 下载hbase到linux 启动hbase 单机启动 创建data目录，这里放在/opt/hbase/data mkdir data 进
java 连接Hbase 所需jar包
10-25
java连接hbase 的jar包commons-configuration-1.6；hadoop-core-1.0.4；zookeeper-3.4.6；commons-cli-1.2等大家喜欢的话 就下载吧
HBase高手之路5—HBase的JavaAPI编程
W_chuanqi的博客
04-10 2599
关闭所有的项目，在Idea的启动页。
云计算技术 实验五 Hbase的安装和基础编程
m0_53227534的博客
12-21 1815
5.Hbase的可靠性更高，由于底层使用HDFS,所以HDFS具有备份的机制，当Spark集群发生严重的问题的时候，Hbase中的机制可以保证数据不会发生丢失或者损毁。2.在使用eclipse的时候，导入的jar包用于实现java项目的编写，对应的有向Hbase中输入数据的jar包，连接Hbase数据库的包，使用shell命令的包等。2.Hbase的版本十分的多，它表中的每一个列的数据都有多个版本，一般来说，每一个列对应着一条数据，可能有的数据会对应着多个版本。每个版本对应的查看相对方便。
大数据技术基础实验报告-HBase安装配置和应用实践.doc
08-21
大数据技术基础实验报告-HBase安装配置和应用实践
大数据基础编程、实验和案例教程 第2版
03-20
内容包括Linux系统的安装、Hadoop的安装、HDFS基础编程、HBase安装和基础编程、MapReduce基础编程、Hive安装和基础编程、MongoDB安装和基础编程、Redis安装和基础编程、数据仓库Hive安装和基础编程、可视化工具安装...
大数据题库_大数据_大数据；_hive；_hbase等；_hadoop；_
10-04
本题库主要关注大数据技术，特别是Hadoop、HBase和Hive等组件的应用和理解。 首先，Hadoop是Apache软件基金会的一个开源项目，核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce计算框架。...
6 大数据基础 - Hbase
12-20
HBase基础知识 HBase是Apache软件基金会的一个开源项目，是一个分布式的、面向列的数据库，是基于Google的Bigtable模型设计的。HBase的主要特点是高性能、可扩展性强、支持高并发读写操作。 HBase的应用场景： 1....
大数据实验三-HBase编程实践
04-03
1）在Hadoop基础上安装HBase； 2）使用Shell命令（create:创建表 、list:列出HBase中所有的表信息、put:向表、行、列指定的单元格添加数据等）；使用HBase常用Java API创建表、插入数据、浏览数据。 二．实验目的 1...
大数据实验Hbase安装部署和使用javaapi调用.pdf
11-02
大数据实验Hbase安装部署和使用javaapi调用，详细且成功率高，纯自己手写的，hadoop和hbase版本是采用林子雨老师教材中的，自己在此教程上改良，引入先安装zookeeper方法避免诸多问题产生。
大数据技术之HBase
07-26
大数据技术之HBase 大数据技术之HBase是当前大数据处理领域中的一种重要技术，旨在解决关系型数据库在大规模数据处理中的性能瓶颈问题。HBase作为一种NoSQL数据库，具有海量存储、列式存储、极易扩展等特点，广泛...
大数据 hdfs hadoop hbase jmeter
10-23
在IT行业中，大数据处理是当前的关键技术之一，而Hadoop、HDFS和HBase则是其中的核心组件。Hadoop是一个开源框架，主要用于存储和处理大规模数据，而HDFS（Hadoop Distributed File System）是Hadoop的核心部分，是...
shang硅谷大数据技术之HBase的详细安装
07-05
shang硅谷大数据技术之HBase的详细安装
HBase的安装、配置、管理与编程
欢迎朋友，我是一名十多年开发经验的新手，希望多多指教。
06-04 1069
HBase的安装、配置、管理与编程
Hbase的安装和基础编程
半濠春水的博客
05-07 3542
（一）安装Hbase，能够查询Hbase的版本 由于HBase对Hadoop具有版本依赖性，所以在安装HBase2.2.2时要首先安装Hadoop3.1.3。 ①解压hbase-2.2.2-bin.tar.gz文件 压缩格式的文件hbase-2.2.2-bin.tar.gz下载到本地电脑，保存在“/home/hadoop/下载”下，现在解压包装包至路径 /usr/local下。 ②文件改名 将解压的文件名hbase-2.2.2改为hbase以方便使用。 把hbase目录权限赋予给hadoop用户。 .
HBase Java API编程实践
actionbean的博客
11-27 2323
在弹出的“JAR Selection”界面中（如下图所示），进入到“/usr/local/hbase/lib”目录，选中该目录下的所有jar文件，一共有111个jar文件（注意，不要选中ruby目录），然后，点击界面底部的“确定”按钮。然后，如下图所示，点击界面中的运行图标右侧的“倒三角”，在弹出的菜单中选择“Run As”，再在弹出的菜单中点击“1 Java Application”，开始运行程序。然后可以看到jar包都添加进去了，再点击界面（如下图所示）底部的“Finish”按钮。
大数据技术之HBase.docx
03-03
HBase的物理存储结构和逻辑结构都影响着其在大数据领域的应用和性能。 HBase的逻辑结构包括命名空间和region，命名空间类似于关系型数据库的数据库概念，而region类似于关系型数据库的表概念，但在HBase中只需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值