hbase 总结

已于 2024-03-23 17:10:13 修改
阅读量200 收藏
点赞数 1
文章标签： hbase 数据库 大数据
于 2024-03-23 17:06:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x17809211858/article/details/136970603
版权

 hbase 的基本概念

  1. 表：HBase采用表来组织数据，表由行和列组成，列划分为若干个列族；
  2. 行：每个HBase表都由若干行组成，每个行由行键（row key）来标识；
  3. 列族：一个HBase表被分组成许多“列族”（Column Family）的集合，它是基本的访问控制单元，创建表的时候创建；
  4. 列限定符：列族里的数据通过列限定符（或列）来定位；
  5. 单元格：在HBase表中，通过行、列族和列限定符确定一个“单元格”（cell）；
  6. 时间戳：每个单元格都保存着同一份数据的多个版本，这些版本采用时间戳进行索引；

hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://mycluster/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>xiemeng-01,xiemeng-02,xiemeng-03,xiemeng-04</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/home/xiemeng/software/hadoop-3.2.0/app/apache-zookeeper-3.5.8-bin/data</value>
    </property>
    <property>
        <name>hbase.tmp.dir</name>
        <value>/home/xiemeng/software/hbase-2.2.6/tmp</value>
    </property>
</configuration>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-client</artifactId>
            <version>${hbase.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-server</artifactId>
            <version>${hbase.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hbase</groupId>
            <artifactId>hbase-common</artifactId>
            <version>${hbase.version}</version>
        </dependency>
class StudentBean {

    private  Integer studentNo;

    private  String name;

    private  String studentName;

    private Integer studentAge;

}

/**
 * HBabse 测试类
 */
public class HBaseTest {
    /**
     * 获取连接对象
     * @return
     * @throws IOException
     */
    private static  Connection connection = null;

    /**
     * 日志类
     */
    private static final Logger LOGGER = LoggerFactory.getLogger(HBaseTest.class);

    /**
     * 获取连接
     * @return
     * @throws IOException
     */
    public static Connection getConnection() throws IOException {
        Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.property.clientPort","2181");
        configuration.set("hbase.zookeeper.quorum","192.168.64.128,192.168.64.130,192.168.64.131,192.168.64.133");
        configuration.set("hbase.master","192.168.64.128:16010");
        synchronized(HBaseTest.class){
            if(null==connection){
              connection = ConnectionFactory.createConnection(configuration);
            }
        }

        return  connection;
    }

    /**
     * 创建表
     * @param tableName
     * @param cols
     * @throws IOException
     */
    public static void createTable(String tableName,String [] cols) throws IOException {
        TableName name = TableName.valueOf(tableName);
        Admin admin = getConnection().getAdmin();
        if(admin.tableExists(name)){
            System.out.println("表已经存在");
        }else {
            TableDescriptorBuilder.ModifyableTableDescriptor descriptor = (TableDescriptorBuilder.ModifyableTableDescriptor) TableDescriptorBuilder.newBuilder(TableName.valueOf(tableName)).build();
            for(String col: cols){
                ColumnFamilyDescriptor columnDescriptor = ColumnFamilyDescriptorBuilder.newBuilder(col.getBytes()).build();
                descriptor.setColumnFamily(columnDescriptor);
            }
            admin.createTable(descriptor);
        }
    }

    /**
     * 插入数据
     * @param tableName
     * @param student
     * @throws IOException
     */
    public static  void  insert(String tableName, StudentBean student) throws IOException {
        Table table = getConnection().getTable(TableName.valueOf(tableName));
        Put put = new Put(("stu"+student.getStudentNo()).getBytes());
        put.addColumn("stu_name".getBytes(),"student_name".getBytes(),student.getStudentName().getBytes());
        put.addColumn("stu_name".getBytes(),"name".getBytes(),student.getStudentName().getBytes());
        put.addColumn("stu_age".getBytes(),"student_age".getBytes(),(""+student.getStudentAge()).getBytes());
        table.put(put);
    }

    public static List<String> getColumnFamilyNames(String tableName) throws IOException {
        Table table = getConnection().getTable(TableName.valueOf(tableName));
        TableDescriptor tableDescriptor = table.getDescriptor();
        List<String> columnFamilyNames = new ArrayList<>();
        for(ColumnFamilyDescriptor columnFamilyDescriptor :tableDescriptor.getColumnFamilies()){
            columnFamilyNames.add(columnFamilyDescriptor.getNameAsString());
        }
        return columnFamilyNames;
    }

    public static Set<String> getFamilyNames(String tableName) throws IOException {
        Table table = getConnection().getTable(TableName.valueOf(tableName));
        TableDescriptor descriptor = table.getDescriptor();
        Set<byte[]> familySet = descriptor.getColumnFamilyNames();
        Set<String> familyNameSet = familySet.stream().map(byteValue -> Bytes.toString(byteValue)).collect(Collectors.toSet());
        return familyNameSet;
    }

    public static List<StudentBean> getAllData(String tableName) throws IOException {
        Table descriptor = getConnection().getTable(TableName.valueOf(tableName));
        Scan scan = new Scan();
        scan.setStartRow("stu1".getBytes());
        scan.setStopRow("stu1000".getBytes());
        scan.addColumn("stu_name".getBytes(),"student_name".getBytes());
        ResultScanner results = descriptor.getScanner(scan);
        List<StudentBean> studentBeans = new ArrayList<>();
        for(Result result: results){
            if(!result.isEmpty()){
                StudentBean studentBean = new StudentBean();
                String rowKey = new String(result.getRow());
                int studentNo = Integer.parseInt(rowKey.substring(3));
                studentBean.setStudentNo(studentNo);
                for(Cell cell: result.rawCells()){
                    String name = Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength());
                    String value = Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength());
                    if(name.equals("student_name")){
                        studentBean.setStudentName(value);
                    }
                    if(name.equals("student_age")){
                        studentBean.setStudentAge(Integer.parseInt(value));
                    }

                    if(name.equals("name")){
                        studentBean.setName(value);
                    }
                }
               studentBeans.add(studentBean);
            }
        }
        return studentBeans;
    }

    public static StudentBean getRowByRowKey(String tableName,Integer rowKey) throws IOException {
        StudentBean studentBean = new StudentBean();
        studentBean.setStudentNo(rowKey);
        Get get = new Get(("stu"+rowKey).getBytes());
        Table table = getConnection().getTable(TableName.valueOf(tableName));
        if(!get.isCheckExistenceOnly()){
            Result result = table.get(get);
            for(Cell cell: result.rawCells()){
                String name = Bytes.toString(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength());
                String value = Bytes.toString(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength());
                if(name.equals("student_name")){
                    studentBean.setStudentName(value);
                }

                if(name.equals("student_age")){
                    studentBean.setStudentAge(Integer.parseInt(value));
                }
            }
        }
        return studentBean;
    }

    public static void updateTable(String tableName) throws IOException {
        HTable table = (HTable)getConnection().getTable(TableName.valueOf(tableName));
        Put put = new Put("stu-1".getBytes());
        put.addColumn("stu_name".getBytes(),"name".getBytes(),UUID.randomUUID().toString().getBytes());
        table.put(put);
        table.clearRegionCache();
    }

    public void deteleTable(String tableName) throws IOException {
        Table table = getConnection().getTable(TableName.valueOf(tableName));

    }
    public static void main(String[] args) throws IOException {
        String [] cols = new String [] {"stu_no","stu_name","stu_age"};
        //createTable("student",cols);
        long begin = System.currentTimeMillis();
        /*for(int i=1;i<100;i++){
          StudentBean student = new StudentBean(i, UUID.randomUUID().toString(), RandomUtils.nextInt());
          putData("student",student);
        }*/

        long end = System.currentTimeMillis();
        System.out.println(String.format("插入数据时长%d",(end-begin)));
        //StudentBean studentBean = getRowByRowKey("student",1);
        //LOGGER.info(studentBean.toString());
        updateTable("student");
        List<StudentBean> studentBeans = getAllData("student");
        //studentBeans.stream().forEach(System.out::println);
       //createTable("student2",cols);
       //getColumnFamilyNames("student").forEach(System.out::println);
       //System.out.println("获取所有列簇==========================================");
       //getFamilyNames("student").forEach(System.out::println);

    }
}


hbase 的表设计原则

微信朋友圈实现

分布式数据库 HBase(详解) - 知乎 (zhihu.com)

一切顺势而行
关注
Flink 读写 HBase 总结
主要分享大数据相关的知识，如Spark、Hudi
12-09 1507
总结 Flink 读写 HBase本文总结了Flink SQL 读写 HBase 的参数配置，解决了在kerberos环境下因 hudi 包 hbase-site.xml 配置冲突引起的异常，学习总结了 Flink SQL 读写 HBase 时加载 HBase 配置的优先级，但是没有详细的分析源码中的逻辑，可能会在后面的文章中补充相关的源码分析~
HBase 之访问控制
厚积而薄发
12-12 4928
转自：http://www.spnguru.com/2011/07/678/     构建和运维HBase集群是一个非常有挑战性的工作。HBase凭借其在海量数据的良好的扩展性和高效的读写能力，受到越来越多公司的重视。 在公司里，HBase越来越受欢迎。希望通过HBase读写数据的产品越来越多，在兴奋之余，头疼的问题也来了。毕竟，作为线上的产品，我们不希望过多人随意的访问，会照成很
Hbase简介
小方块的博客
09-06 884
1、HBase是建立在Hadoop文件系统之上的面向列的分布式数据库。2、这是一个开源项目。3、它是水平可伸缩的。4、HBase是一种数据模型，类似于Google的大表，旨在提供对大量结构化数据的快速随机访问。5、这是非关系型的数据库。无事务，无外键，等关系型数据库的功能6、它是分布式数据库。7、稀疏矩阵。8、约束少1、行：每个HBase表都由若干行组成，每个行由行键（row key）来标识。2、行键：可使Hbase自动排列。
Hbase 之访问控制
ABCDERGIH的博客
09-04 562
权限控制范围包括库级别（全局）、表级别、列簇级别和列级别，目前总共有五种级别，分别是  READ('R'), WRITE('W'), EXEC('X'), CREATE('C'), ADMIN('A') 其中Exec 目前没有使用，CREATE,ADMIN只涉及库级别和表级别，列簇级别和列级别只涉及到READ和WRITE权限。 Hbase 提供了相应的api 来操作用户的访问控制。涉及的类主...
Hbase总结
huzhan7的博客
06-30 1482
Hbase总结 --huzhan 一、Hbase的六大特点： （1）、表大：一个表可以有数亿行，上百万列。 （2）、无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态增加，同一个表中的不同行的可以有截然不同的列。 （3）、面向列：HBase是面向列的的存储和权限控制，列族独立索引。 （4）、稀疏：空（null）列并不占用空间，表可以设计的
HBase总结
Zeroowt的博客
05-25 1298
https://segmentfault.com/a/1190000019959411 尚硅谷HBase视频 HBase架构 1.数据模型 Name Space 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。 HBase有两个自带的命名空间，分别是 hbase 和 default， hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。 Region:类似于关系型数据库的表概念。HBase 表（Table）根据 rowkey 的范围被
Hbase 总结
hujutaoseu的博客
05-04 750
转自：http://blog.csdn.net/u010270403/article/details/51648462 HBase简介 HBase的发展史 2006年底由PowerSet 的Chad Walters和Jim Kellerman 发起，2008年成为Apache Hadoop的一个子项目。现已作为产品在多家企业被使用，如： WorldLingoStreamy.
HBASE总结
starkpan的博客
02-09 361
一、HBASE概述 HBase来源于google的论文BigTable，由apache做了开源项目即HBase. HBase是一种NoSql非关系型数据库，适合存储半结构化、非结构化数据以及稀疏数据。面向列进行存储，可提供海量数据，实现上亿条记录的毫秒级别查询。缺点：不提供严格 的事务控制，只能在行级别保证事务。 总体来说，HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统...
HBase总结.xmind
06-18
HBase是一个分布式的、可扩展的、面向列的存储系统，它是Apache软件基金会的一个开源项目，基于Google的BigTable模型构建。HBase运行在Hadoop生态系统之上，利用Hadoop的文件存储系统HDFS（Hadoop Distributed File ...
Hbase总结.docx
09-13
在HBase这种分布式列式数据库中，Rowkey的设计至关重要，因为它直接影响着数据的分布和查询效率。以下是关于HBase Rowkey设计的一些关键知识点： 1. 唯一性原则：Rowkey必须确保全局唯一，避免数据冲突。这可以通过...
HBase总结(超详细)
01-24
分数不让我设定(最好是0)包含原理概念、架构、单机安装、分布式安装，HBase的优化及Phoenixd的一点拓展知识，二叉树，B树等等。。
【hdfs】【hbase】【大数据技术基础】实践二 HBase Java API编程
Kika写代码的博客
11-07 923
为什么可以写命令还要编写程序？自动化批量处理？尽管我们可以通过HBase的shell命令行工具进行数据操作，但在实际的生产环境中，为了提高效率和实现自动化处理，我们通常需要编写程序来与HBase进行交互。本实例使用Eclipse编写java程序，来对HBase数据库进行增删改查等操作，Eclipse可以在Ubuntu软件中心搜索下载并安装。第一步：启动hadoop，启动hbase在开始之前，确保你已经安装了Hadoop和HBase，并且它们正在运行。
HDFS和HBase跨集群数据迁移 源码
11-07 78
【代码】HDFS和HBase跨集群数据迁移 源码。
hbase 工具类
桃李不言下自成蹊
11-07 78
hbase 自定义过滤器 工具类
大数据数据存储层MemSQL, HBase与HDFS
最新发布
追赶时代的博客
11-07 45
大数据数据存储层MemSql，HBase与HDFS介绍
go 集成go-redis 缓存操作
hlsd的博客
11-07 804
go redis 学习。
Redis实战-利用Lua解决批量插入防重方案
葵续浅笑的博客
11-01 1314
本文介绍了以Lua脚本为基础设计的防重和幂等方案。
windows11安装redis
qq_42985657的博客
11-06 293
下载免安装版本，鼠标点击一下自动下载。解压。
hbase 删除列族下的某一列_HBase总结
06-01
要删除HBase中列族下的某一列，可以使用以下步骤： 1. 打开HBase shell，使用`disable '<table_name>'`命令禁用表格。 2. 使用`alter '<table_name>', NAME => '<column_family_name>', delete => '<column_name>'`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值