HBase的数据模型的各个名词解读!

最新推荐文章于 2024-10-20 04:18:07 发布
最新推荐文章于 2024-10-20 04:18:07 发布
阅读量248 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/looo000ngname/article/details/103270519
版权

HBase的数据模型

数据模型

RowKey

  • 是数据的唯一标识
  • 默认由64k的数据组成,但是实际使用中按照用户的需求自由定义
  • 分配空间的时候使用多少分配多少,但是rowkey设计的时候够用就行
  • 当我们插入数据的时候,HBase会按照RowKey的字典序给我们排序
    • HBase中的数据默认按照rowkey有序
    • 注意字典的排序规则

TimeStamp

  • 数据的版本控制器

  • 它是基于HDFS储存的一种策略

    • 版本就是环节了HDFS与数据修改的冲突
    • 其实修改的数据/删除的数据并不会马上修改HDFS的数据

  • 我们定义列族的时候可以指定最多保留的版本

    • 将来我们修改同一个数据的时候,根据版本数来确定数据是否显示
    • 默认的版本号就是当前系统的毫秒数

  • 我们查询数据的时候,如果不指定版本数,默认显示版本号最新的数据

  • 取数据的时候,不同的版本信息对应的数据可能不同

列族(Column Family)

  • 将功能属性相近的放在一个列族
  • 同一个列族中的列会存放在同一个Store中
  • 列族一般需要在创建表的时候进行声明,而且一般一个表中的列族不超过3个
  • 表中所有的列都是基于列族

列(QUalifier)

  • 列必须基于列族
  • 使用的时候必须 列族:列
  • 列可以根据需求动态添加或者删除

Cell

  • 最终定位到的资源
  • 由(RowKey+TimeStamp+CF+Qualifier)联合精准查找到一个数据
  • 因为HDFS上的数据都是字节数组,所以HBase没有数据类型(字节码)
meavoChen
关注
专栏目录
【图文详解】HBase 的数据模型与架构原理详解
AI天才研究院
12-11 1万+
HBase 简介 https://hbase.apache.org/HBase， Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式开源 NoSQL 数据库，面向列存储。主要用来存储非结构化和半结构化的松散数据。HBase 的设计思想，来源于 Fay Chang所撰写的Google论文 “Bigtable：一个结构化数据的分布式存储系统”。HBase ...
元数据与数据治理｜大数据生态及其技术栈（第三篇）
十年呵护的专栏
01-08 1129
如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据，都不好意思说自己是在IT圈混的。我敢打赌，你在中关村西二旗地铁站溜一圈，保准你会听到如下名词：Hadoop、Spark、MapReduce、NoSQL、离线计算、实时计算、实时推送等等一大串名称。程序...
HBase术语及数据模型
实践求真知
12-25 1714
一 HBase术语说明 1 主键（Row Key） 2 列族（Column Family） 3 时间戳与存储单元（Timestamp and Cell） 二 HBase数据模型简析 1 逻辑模型 2 物理模型 3 HBase物理存储 4 HBase存储细节 三 参考 http://www.jikexueyuan.com
HBase数据模型的一些概念
weixin_34228387的博客
12-10 280
首先来先理解一个概念：HBase是一种列式存储的分布式数据库。 表 在HBase中数据以表的形式存储。使用表的主要原因是把某些列组织起来一起访问，同一个表中的数据通常是相关的，通过列族进一步把一些列组织起来一起访问。用户可以通过命令行或者Java API来创建表。表明通常使用Java Stirng 类型或者byte数组表示，表...
对hbase的一些名称解释和个人理解
weixin_42981165的博客
09-21 872
HBase架构中的名称解释 ***client *访问HBase数据库的表的用户 *读、写 ***zookeeper *是client访问HBase的入口 *存储元数据表meta的位置 ***HMaster *对region进行负载均衡 *不参与HBase表数据的读写 **HRegionServer *管理当前服务器上面的region *响应客户端数据访问请求 *同一台服务器会有多个HRegion...
认识HBase-名词含义
TT-Learning
01-20 947
HMaster 管理用户对Table的DDL操作 管理HRegionServer的负载均衡，调整Region分布 在Region Split后，负责新Region的分配 在HRegionServer停机后，负责失效HRegionServer上的Region迁移 HMaster失效仅会导致所有元数据无法被修改，表的数据读写还是可以正常进行 HRegionServer 维护HRegion并往HD...
大数据平台建设整体架构设计方案
最新发布
AI天才研究院
10-20 894
《大数据平台建设整体架构设计方案》 关键词： 大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink、项目规划、运维管理、最佳实践。 摘要：
NL2SQL技术方案系列(6)：金融领域知识检索，NL2SQL技术方案以及行业案例实战讲解4
丨汀、的博客
04-24 574
NL2SQL技术方案系列(4)：金融领域知识检索，NL2SQL技术方案以及行业案例实战讲解4
[编程规范篇] 《阿里巴巴开发手册》泰山版 解读
weixin_41887912的博客
09-03 1295
本文章主要记录一些自己日常容易犯错或者推荐遵守的编程习惯。 一、编程规约 1. 命名风格 1.【强制】 包名统一使用小写，点分隔符之间有且仅有一个自然语义的英语单词。包名统一使用单数形式，但是类名如果有复数含义，类名可以使用复数形式。 正例：应用工具类包名为com.alibaba.ei.kunlun.aap.util、类名为MessageUtils（此规则参考spring的框架结构） 2.（推荐） 在常量与变量的命名时，表示类型的名词放在词尾，以提升辨识度。 正例：startTime / workQueue
云计算技术 — 云计算技术发展编年史
热门推荐
烟云的计算
10-31 1万+
目录 文章目录目录虚拟化的发展进程硬件仿真虚拟化完全虚拟化半虚拟化操作系统虚拟化 虚拟化的发展进程 1959 年，克里斯托弗（Christopher Strachey）在国际信息处理大会（International Conference on Information Processing）上发表了一篇名为《大型高速计算机中的时间共享》（Time Sharing in Large Fast Comp...
python编程学习笔记⑦-1函数
tachyonxue的博客
11-20 352
函数是带名字的代码块 8.1定义函数 使用关键字def 告诉python你要定义一个函数。 def greet_user():#（）是必要的 print("Hello!") greet_user() 结果： Hello! [Finished in 0.1s] 8.1.1向函数传递信息 8.1.2实参和形参 def greet_user(username):#形参 print(f"Hello,{username.title()}") greet_user("tachyon xue")#（）内是实参 结果
Hbase
sheep55的博客
04-23 989
HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。HBase – Hadoop Database，是一个高可靠性、高性能、、可伸缩、实时读写的分布式NoSQL数据库利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。
HBase的基本概念和术语
Coding Space
03-04 2299
HBase – Hadoop Database，是一个高可靠性（HDFS和ZooKeeper保证）、高性能、面向列、可伸缩（通过增加结点实现）、实时读写的分布式数据库。它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为其分布式协同服务，它主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库） 。...
HBase中的术语详解
说文科技，做有态度的研究。
12-23 1680
HBase 中的术语详解【updating…】 1. Cell 1.1 什么是Cell? cell应该可以算是 HBase 中最小的维度，指的就是 HBase 中具有值的那行数据。 每个tableName,rowKey,columnFamily,qualifier,value 所表示的维度就是一个cell。 例如 hbase(main):006:0> get 'ns_ct:calllog'...
Hbase中的Column Family(转载)
微电子学与固体电子学-俞驰
05-17 844
1. 概述 HBase是一帮家伙看了Google发布的一片名为“BigTable”的论文以后，犹如醍醐灌顶，进而“山寨”出来的一套系统。 由此可见： 　　1. 几乎所有的HBase中的理念，都可以从BigTable论文中得到解释。原文是英语的，而且还有不少数学概念，看了有点儿懵，建议网上找找学习笔记看看，差不多也就可以入门了。 　　2. Google确实牛X。 　　3. 老外也爱山寨~ 第一次看HBase, 可能看到以下描述会懵：“基于列存储”，“稀疏MAP”，“RowKey”,“Colu.
透视Hbase数据模型|概念视图|物理视图
涤生大数据
09-22 3336
在 HBase 中，数据存储在有行和列的表中。这是与关系数据库 (RDBMS) 的术语重叠，但这不是一个有用的类比。相反，将 HBase 表视为多维映射可能会对理解更有所帮助。 先来看下hbase表模型的专业术语 table （表）：一个 HBase 表由多行组成。 row(行)：HBase 中的一行由一个行键和一个或多个具有与其关联的值的列组成。行在存储时按行键的字母顺序排序。为此，行键的设计非常重要。目标是以相关行彼此靠近的方式存储数据。常见的行键模式是网站域。如果您的行键是域，您可能应...
HBase数据模型（NameSpace、 RowKey、Column Family 列簇）
XIATWO
11-17 3281
HBase数据模型 概念 描述 HBase 是一个稀疏的、分布式、持久、多维、排序的映射，它以**行键（row key），列簇（columnFamily），列名（Column Qualifier）和时间戳（timestamp）**为索引。 图解 注意 1、MySQL使用 行+ 列 定位数据 2、HBase类似于坐标系（x,y,z），多维定位数据 3、HBase 列簇、列名、时间戳，面向列进行存储 数据结构内容 NameSpace 命名空间 | 数据库 注意 1、命名空间是类似于关系数据
HBase数据模型解析
张俊杰 的博客
02-04 3574
HBase数据模型解析 HBase 是一种列存储模式与键值对存储模式结合的 NoSQL 数据库，它具有灵活的数据模型，不仅可以基于键进行快速查询，还可以实现基于值、列名等的全文遍历和检索。 HBase 可以实现自动的数据分片，用户不需要知道数据存储在哪个节点上，只要说明检索的要求，系统会自动进行数据的查询和反馈。 HBase 的基本概念 HBase 不支持关系模型，它可以根据用户的需求提供更灵活和可扩展的表设计。与传统的关系型数据库类似，HBase 也是以表的方式组织数据，应用程序将数据存于 HBase 的
HBase数据模型详解与表设计策略
HBase数据模型解析与基本表设计详解 HBase作为一款开源、可扩展的分布式NoSQL数据库，其设计初衷是为海量数据存储提供高效解决方案。它借鉴了Google Bigtable的数据模型，并运行于Hadoop的HDFS存储系统之上，与关系...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值