Holodesk VS CarbonData

最新推荐文章于 2024-06-19 11:35:09 发布

小爷毛毛（卓寿杰）

最新推荐文章于 2024-06-19 11:35:09 发布

阅读量2.6k

点赞数

分类专栏：大数据文章标签： hadoop 华为 holodesk CarbonData 星环

本文链接：https://blog.csdn.net/u011239443/article/details/52015951

版权

大数据专栏收录该内容

28 篇文章 1 订阅

订阅专栏

总概

Holodesk

应用场景

增强在交互分析中Ad-hoc query的高效性
支持流应用insert & update & delete

这里写图片描述

CarbonData

这里写图片描述

应用场景

支持 big scan & 少列结果
支持在亚秒级响应主键查找
支持大数据上涉及一个query中有许多过滤的interactive OLAP-style query, 并能以秒级响应
支持包含全列的单条记录的快速抽取
支持 HDFS 以便用户可以管理正存在的Hadoop集群

技术

Holodesk	CarbonData
DELTA，RLE，Dictionary	DELTA，RLE，Dictionary，BIT_PACKED，Snappy
MinMax Filter，Bloom Filter	内存文件级MDK index tree
B+ Tree，Bitmap	倒排索引

性能表现

Holodesk

这里写图片描述

CarbonData

这里写图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小爷毛毛（卓寿杰）

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

carbondata 介绍

微溪

08-25

1万+

1、为什么要使用carbondata？ CarbonData支持完整的标准SQL支持，以及多种分析场景的支持,“一份数据支持多种使用场景”，例如大规模扫描和计算的批处理场景，OLAP多维交互式分析场景，明细数据即席查询，主键低时延点查，以及对实时数据的实时查询等场景主要概括为一下几种（1）支持海量数据扫描提取其中某些列；（2）支持根据主键进行查找的低于秒级响应；（3）支持海量数据进行交互式查询

大数据小视角3：CarbonData，来自华为的中国力量

weixin_34010949的博客

06-20

341

连续两篇文章都聊了不同的存储格式，这篇我们继续深入来看看在存储格式的演变之上有什么新的"黑科技"。华为公司在2016年开源了类parquet的列存格式：CarbonData，并且贡献给了Apache社区。CarbonData仅仅用了不到一年的时间就成功毕业，成为了Apache社区的顶级项目，CarbonDa...

参与评论您还未登录，请先登录后发表或查看评论

不同表格式下的小文件治理方式（开源RC file/ORC/Text非事务表、事务表、Holodesk表格式..）

最新发布

tiancaidddddd的博客

06-19

1390

本篇文章将为读者介绍不同表格式如何处理小文件合并相关问题，涉及非事务表、事务表以及星环自研的高性能Holodesk表。

CarbonData简介

junerli的博客

04-12

3790

目录一、什么是CarbonData Apache CarbonData是一种新的大数据文件格式，使用先进的柱状存储、索引、压缩和编码技术来提高计算效率，这有助于在pb级的数据上以数量级的速度加快查询速度。 CarbonData特别设计了多种优化策略，如多级索引、压缩和编码技术，旨在提高包含filter、aggregation和counst distinct等分析查询的性能，用户期望在拥有较...

CarbonData-2：core

weixin_30263073的博客

12-28

package Core是carbondata的核心代码。照例，先看Test类。CarbonPropertiesValidationTest 转载于:https://www.cnblogs.com/1023linlin/p/10189350.html

Holodesk表的数据更新操作

07-11

Holodesk表的数据更新操作可以通过以下步骤进行： 1. 确定更新的需求：首先，需要明确要对Holodesk表进行哪些数据更新操作。这可能包括插入新的数据、更新现有数据或删除数据。 2. 连接到数据库：使用适当的数据库...

以下表中，哪些一般不会用于计算场景（） 2分 ORC TEXT Holodesk CSV

07-11

- Holodesk：根据我的了解，Holodesk 不是常见的表格格式，可能是指某个特定的表格工具或平台。由于题目中没有提供足够的信息，不能确定它是否适合用于计算场景。 - ORC：ORC（Optimized Row Columnar）是一种优化...

以下HOLODESK建表语句正确的有（） 2分 CREATE FACT TABLE WECHAT_HISTORY( ID STRING, STORE STRING, TRANS_NO STRING, TRANS_DATE DATE, TRANS_TYPE STRING) PARTITIONED BY (TRANS_DATE) CLUSTERED BY (ID) STORED AS HOLODESK; CREATE FACT TABLE WECHAT_HISTORY( ID STRING, STORE STRING, TRANS_NO STRING, TRANS_DATE DATE, TRANS_TYPE STRING) PARTITIONED BY (PARTITION_DATE DATE) CLUSTERED BY (ID) STORED AS HOLODESK; CREATE TABLE WECHAT_HISTORY( ID STRING, STORE STRING, TRANS_NO STRING, TRANS_DATE DATE, TRANS_TYPE STRING) PARTITIONED BY (PARTITION_DATE DATE) CLUSTERED BY (ID) INTO 3 BUCKETS STORED AS HOLODESK; CREATE TABLE WECHAT_HISTORY( ID STRING, STORE STRING, TRANS_NO STRING, TRANS_DATE DATE, TRANS_TYPE STRING) PARTITIONED BY (PARTITION_DATE DATE) CLUSTERED BY (ID) STORED AS HOLODESK;

07-11

以下HOLODESK建表语句正确的有： 1. CREATE FACT TABLE WECHAT_HISTORY( ID STRING, STORE STRING, TRANS_NO STRING, TRANS_DATE DATE, TRANS_TYPE STRING) PARTITIONED BY (TRANS_DATE) CLUSTERED BY (ID) STORED ...

以下建表语句正确的有（） 2分 CREATE TABLE table_b AS SELECT * FROM table_a; CREATE TABLE table_b STORED as ORC_TRANSACTION AS SELECT * FROM table_a; CREATE TABLE table_b STORED as TEXTFILE AS SELECT * FROM table_a; CREATE TABLE table_b STORED as HOLODESK AS SELECT * FROM table_a;

07-11

- CREATE TABLE table_b STORED as HOLODESK AS SELECT * FROM table_a; 该语句是错误的。HOLODESK不是一个有效的存储格式。所以，正确的建表语句有两个： 1. CREATE TABLE table_b AS SELECT * FROM table_a; 2. ...

hive索引

野生码农

10-15

1106

hive的索引包括三种：Local Index、Cube和Global Index。接下来分别进行介绍。通俗的说：global index，标记记录在哪个文件。local index，标记记录在单个文件里哪个位置。cube，类似local index，同时对多个字段做索引。 Local Index是将列式存储的每个单元看作整体建立的。Local Index的创建采用了字典编码技术。相对...

CarbonData学习资料

11-22

Apache CarbonData学习文档汇总，包含视频/文档/文件等。

CarbonData应用实践和未来规划.pdf

12-26

CarbonData应用实践和未来规划.pdf。

Apache CarbonData，实现大数据即席查询秒级响应.pdf

01-13

Apache CarbonData，实现大数据即席查询秒级响应.pdf

carbondata好文一

join_null的博客

06-07

417

http://www.sohu.com/a/193921606_470008

CarbonData详细解析

hello.reader

09-25

5774

CarbonData是一种新型的Apache Hadoop本地文件格式，使用先进的列式存储、索引、压缩和编码技术，以提高计算效率，有助于加速超过PB数量级的数据查询，可用于更快的交互查询。同时，CarbonData也是一种将数据源与Spark集成的高性能分析引擎。

CarbonData部署和使用

Yore - Home

08-30

4869

本文主要介绍了华为开源的一个新型的大数据列式存储格式CarbonData。简要描述了CarbonData的特性。有介绍了CarbonData的安装以及和Spark的集成，最后在spark-shell中通过编程执行SQL，测试了CREATE、LOAD、SELECT、INSERT、UPDATE、DELETE

java写入carbondata_Apache CarbonData 1.4.0 中文文档

weixin_28747829的博客

02-25

179

安装指南本教程将指导你通过以下两种模式安装和配置 CarbonData：其次是 :在 Spark 独立模式集群上安装和配置 CarbonData前置条件Hadoop HDFS 和 Yarn 需要安装和运行。Spark 需要在所有的集群节点上安装并且运行。CarbonData 用户需要有权限访问 HDFS.步骤编译 CarbonData 工程，并且从 ./assembly/target/scala-...

carbondata使用笔记

XDSXHDYY的博客

05-14

594

carbondata：列存储格式，与Spark进行了深度集成，兼容了Spark生态功能（SQL,DataFrame，ML等） carbondata文件结构 CarbonData 为每个数据块创建一个文件，每个文件都包含 File Header, Blocklets 和 File Footer。 file header：文件头保存存储格式的版本和模式信息 blocklet：最大容量64m，存储数据 file footer：文件尾存储数据的索引和摘要通过支持二级索引，提升查询性能第一级：文件级索引，