粗略对比Parquet和Hbase数据存储结构

最新推荐文章于 2022-03-31 16:38:47 发布
最新推荐文章于 2022-03-31 16:38:47 发布
阅读量3.6k 收藏 2
点赞数
分类专栏： 大数据 文章标签： parquet hbase 数据存储格式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sudo5zzb/article/details/51276557
版权
本文对比了Parquet和Hbase的数据存储结构，Parquet的Row group类似HBase的HRegion，而colum trunk对应HBase的Store。关键区别在于，StoreFile包含特定列的值集合，而Parquet的page存储三元组(Repetition Level, Definition Level, value)，支持复杂嵌套数据结构的序列化。" 124870521,11752890,数据中台：自助式数据报表分析系统设计,"['数据库', '数据仓库', '数据报表']
摘要由CSDN通过智能技术生成

      Parquet的Row group相当于HBase的HRegion，Parquet的colum trunk相当于HBase的Store。

      HBase的Store由StoreFile组成，Parquet的colum trunk则由最小单位page存储。两者最大差异就在于此，StoreFile仅是存储了某一特定列的阀值范围内的values集合。而colum trunk的每个page则存储了一个三元组(Repetition Level，

最低0.47元/天 解锁文章
sudo5zzb
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数仓(三)：分层设计 ODS-DWD-DWS-ADS
.
11-27 2万+
一、数仓建模的意义，为什么要对数据仓库分层？ 只有数据模型将数据有序的组织和存储起来之后，大数据才能得到高性能、低成本、高效率、高质量的使用。 1、清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。 数据关系条理化：源系统间存在复杂的数据关系，比如客户信息同时存在于核心系统、信贷系统、理财系统、资金系统，取数时该如何决策呢？数据仓库会对相同主题的数据进行统一建模，把复杂的数据关系梳理成条理清晰的数据模型，使用时就可避免上述问题了。 2、数据血缘追...
大数据分析的技术栈(一)-HBase， Parquet
气死八戒的专栏
02-20 9770
序言前段时间做了一个大数据分析的一个项目，对于大数据分析的技术栈有了一个比较全面的认识，下面一个系列的文章，会对整个技术栈做一个介绍，本篇文章关注的是DB部分，HBase和Parquet。HBaseHBase是什么呢？HBase是架构在HDFS文件系统之上，面向列存储的，分布式的非关系型数据库。这句话里面包含的信息量有点多，不要急，由我慢慢道来。 架构在HDFS文件系统之上: 我们都知道HDFS是H
Parquet-Hbase-bulkload-Put-Buffered-example:通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录
06-29
通过使用 WAL 和缓冲的 Put 从 Hdfs 文件中摄取 HBase 记录 通过 WAL（使用 Put）将具有 PARQUET 格式的 hdfs 文件加载到 Hbase 的包。 该包基于仅使用 Mapper 加载表。 很快我将添加如何使用 reducer 以及使用 MR 驱动程序自动刷新所有放置的另一个版本，而无需使用 TAblemapper 类进行缓冲控制。 另一个例子： : 在添加的这个示例中，性能明显提高，将更多的缓冲项从 1 增加到 1000，基于 14 个节点的集群将时间从 25 分钟减少到 50 秒。 但是，将缓冲增加到 10K，响应不如超时开始播放。 这个过程很简单。 首先配置作业添加 Hbase 所需的所有资源。 请注意，有时需要 addDependencyJars，以便映射器运行的节点获取处理 Hbase 所需的 jar。 在映射器中，连接是在 SetUP
去 HBase，Kylin on Parquet 性能表现如何？
Kyligence
05-06 640
Kylin on HBase 方案经过长时间的发展已经比较成熟，但也存在着局限性，因此，Kyligence 推出了Kylin on Parquet 方案（了解详情戳此处）。通过标准数据集测试，与仍采用 Kylin on HBase方案的 Kylin 3.0 相比，Kylin on Parquet 的构建引擎性能有了很大的提升，对于复杂查询也有更好的性能表现。 本篇文章主要通过使用标准 ...
spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)
阿龙的专栏
12-11 1万+
spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)
Spark读取csv和parquet文件将数据写入Hbase表
Adam_cbp的博客
07-02 911
1、Saprk读取csv文件将数据写入Hbase表中编码实现。 scala编码： package com.cbp.spark_hbase import org.apache.hadoop.fs.Path import org.apache.hadoop.hbase.client.ConnectionFactory import org.apache.hadoop.hbase.io.ImmutableBytesWritable import org.apache.hadoop.hbase.{HBaseCon
AnalyticDB实现和特点浅析
zzzzMing -大数据/数据分析/数据挖掘
07-01 4723
文章目录AnalyticDB介绍与背景AnalyticDB详细解析架构设计数据分区读写分离和读写流程其他特性介绍混合（列-行）存储引擎索引小结 本篇主要是根据AnalyticDB的论文，来讨论AnalyticDB出现的背景，各个模块的设计，一些特性的解析。可能还会在一些点上还会穿插一些与当前业界开源实现的比对，希望能够有一个更加深入的探讨。OK，那我们开始吧。 AnalyticDB介绍与背景 要说AnalyticDB，那起码得知道它是干什么的。这里直接贴下百度百科的介绍： AnalyticDB是阿里云自主
[完]基于Hadoop的数据仓库Hive 基础知识
无名的博客
09-21 2万+
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。一、概述1-1 数据仓库概念数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定
数据分析大数据面试题大杂烩02
GavinKai
03-09 2400
Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,会先进行二次排序,首先根据数据所属的partition进行排序,然后每个partition中的数据再按key来排序 . partition的目是将记录划分到不同的Reducer上去,以期望能够达到负载均衡,以后的Reducer就会根据partition来读取自己对应的数据 . 接着运行co
Parquet
wjandy0211的博客
11-20 721
Parquet就是基于Dremel的数据模型和算法实现的，面向分析型业务的列式存储格式。辅以按列的高效压缩和编码技术，实现降低存储空间，提高IO效率，降低上层应用延迟。 列式存储 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量。 压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码（例如Run Length Encoding
HBase的架构原理（7大组件）图文详解及其与Hive的区别
攻城狮Kevin
12-18 3550
目录 一、如何理解HBase 二、HBase与Hive、Hadoop的区别 1. 从概念上区分 2. 从应用场景上区分 3. 从数据库角度来看 4. 小结 三、HBase的详细架构 1. HBase与HDFS和Zookeeper的关系 2. 两个核心节点HMaster和HRegionServer 3. HLog 4. HRegion 5. Store 6. 存储工具Mem...
HIVE建表、HBASE建表、HIVE表与HBASE表关联以及数据导入
Rain的博客
01-15 1346
- 背景 后端查询数据库时，要用到hive表和MySQL表 当前的做法是：先查询MySQL数据表，得到的结果通过参数的形式传递给hive表进行查询 弊端： 当传递的参数太多时，SQL查询有长度限制，当往关键字in中传递时，有长度和效率的限制 为了解决这个问题，做以下探索： 在hive下创建一张与MySQL表相同的表，后端SQL查询采用join的方式 在HBASE下创建表并映射到hive下，后端S...
hbase简介
热门推荐
u012485099的博客
12-19 3万+
1.HBase简介 1.1 定义 HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 1.2 HBase数据模型 1.2.1逻辑结构 逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构(K-V)来看，HBase 更像是一个 multi-dimensional map 实际上逻辑表中的数据是稀疏的，有些cell没有值 稀疏数组参考 1.2.2HBase物理存储结构 以上即为稀疏数据.....
实时分析系统以及hbase、hive和impala的区别
anningzhu的博客
02-26 2660
1. 什么是实时分析（在线查询）系统？ 大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通常有以下特点： a. 时延低（秒级别）。 b. 查询条件复杂（多个维度，维度不固定），有简单（带有ID)。 c. 查询范围大（通常查询表记录在几十亿级别）。 d. 返回结果数小（几十条甚至几千条）。 e. 并发数要求高
hbase实现TXT,CSV,ORC和Parquet格式数据的导入和导出代码
qiangzi_lg的博客
01-28 3967
下面纯属原创，只是实现其功能，性能上对于大规模数据尚有欠缺，直接上代码： 导入： public ImportDataResponse importData(String connectionID, String dataBase, String tableName, String sourceFileType, String sourceFilePath) throws Exception...
Spark加载HDFS parquet数据,批量插入HBASE例子及一个问题优化
lwb314的专栏
03-31 2217
场景 HDFS上存储了大量的parquet文件，我需要抽取其中几个字段存储到HBASE里。 中间出现了一个问题，应该是一次批量提交的数据量太多了，所以一致卡着，提示： INFO AsyncRequestFutureImpl: #3, waiting for 172558 actions to finish on table: 网上没超导怎么解决，最后自己优化了一下代码解决了 代码 主函数:HBase2HDFSLocalTest import org.apache.spark.sql.{DataFrame
Trafodion——一个成熟的企业级SQL on HBase解决方案
chudajin2983的博客
03-15 282
简介 Trafodion是一个开源Apache项目。它提供了一个成熟的企业级SQL on HBase解决方案。Trafodion的主要设计思想是处理operational类型的工作负载，或者是传统的OLTP应用。此外，对于需要保证数据一致性，需要标准SQL开发接口，或者需要实时数据读写...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值