数仓OLAP技术哪家强

最新推荐文章于 2024-08-22 10:37:57 发布
最新推荐文章于 2024-08-22 10:37:57 发布
阅读量622 收藏 3
点赞数 1
分类专栏： 数据仓库 olap
原文链接：https://mp.weixin.qq.com/s/Dt7lfIN05GnEAy9ASnI1_w
版权

数仓OLAP技术哪家强

转载声明

本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容：

1 概述

数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，实时大屏，用户画像，推荐系统，数据分析，数据挖掘，人脸识别，风控反欺诈，ABtest等等。

在这里插入图片描述
本文侧重于数据应用之BI可视化和OLAP技术选型。

2 BI可视化工具

2.1 BI现状

大数据时代商业智能（BI）和数据可视化诉求更为强烈，淘宝大屏更是风靡全球！数据可视化是大数据『最后一公里』- BI唤醒沉睡的数据。

传统型BI力求大而全的统一综合型报表和分析平台，侧重传统式报表开发，俨然一把屠龙刀；而现互联网公司快速迭代的业务发展，需要的却是倚天剑，促使自助式BI和敏捷BI得以迅速发展。

时代召唤，传统BI巨头也逐渐向自助式BI和云BI转型。一时间，BI数据可视化已呈现出"百家争鸣，群雄争霸"的态势！

2.2 BI分类

在这里插入图片描述

统看业界可视化BI工具可大致分为：开源bi，商业bi，和传统重bi工具，业界目前比较流行的：

  • 开源bi工具有
    Superset、metabase、Redash、Cboard、Spagobi等
  • 商业bi工具有
    帆软、tableau、PowerBI、SmartBI、QlinkView、QuickBI等
  • 传统企业、传统数仓
    大多依然沿用重bi产品，如Congos、BIEE、BO、MicroStrategydeng等。

详细每一款bi工具，我们前面文章有详细介绍。如果你感兴趣，或正在调研开BI工具选型，可移步：大数据可视化BI工具，呕血总结，通幽洞微

3 OLAP基本操作和类型

3.1 概述

OLAP，On-Line Analytical Processing，在线分析处理，主要用于支持企业决策管理分析。区别于OLTP，On-Line Transaction Processing，联机事务处理。

OLAP的优势：丰富的数据展现方式、高效的数据查询以及多视角多层次的数据分析。
在这里插入图片描述
数据仓库与OLAP的关系是互补的，现代OLAP系统一般以数据仓库作为基础，即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到OLAP存储器中供前端分析工具读取。

3.2 OLAP多维分析

3.2.1 概述

OLAP的多维分析操作包括：钻取（Drill-down）、上卷（Roll-up）、切片（Slice）、切块（Dice）以及旋转（Pivot）。

3.2.2 钻取

在这里插入图片描述
维的层次变化，从粗粒度到细粒度，汇总数据下钻到明细数据。

如通过季度销售数据钻取每个月的销售数据

3.2.3 上卷

在这里插入图片描述
上卷是钻取的逆操作，向上钻取，即从细粒度到粗粒度，细粒度数据到不同维层级的汇总。

eg. 通过每个月的销售数据汇总季度、年销售数据

3.2.4 切片

在这里插入图片描述
特定维数据（剩余维两个）。

eg. 只选电子产品的以地域和季度为维度统计的销售数据

3.2.5 切块

在这里插入图片描述
维区间数据（剩余维三个）。

eg. 第一季度到第二季度的，以品类、季度、地域为维度统计的销售数据

3.2.6 旋转

在这里插入图片描述
维位置互换（数据行列互换），通过旋转可以得到不同视角的数据。

维度先后发生变化。

3.3 OLAP分类

在这里插入图片描述
OLAP按存储器的数据存储格式分为：

  • ROLAP（Relational OLAP）
    完全基于关系模型进行存储数据，不需要预计算，按需即时查询。明细和汇总数据都保存在关系型数据库事实表中。

    代表技术栈有Presto、impala with Kudu ClickHouse等

  • MOLAP（Multi-dimensional OLAP）
    基于多维数组的存储模型，也是OLAP最初的形态，特点是对数据进行预计算，以空间换效率，明细和聚合数据都保存在cube中，但生成cube需要大量时间和空间。

    代表技术有Kylin、Druid

  • HOLAP（Hybrid OLAP）
    相当于是ROLAP和MOLAP混合模型，其中：

    • 细节数据以ROLAP存放
    • 聚合数据以MOLAP存放

    这种方式相对灵活，且更加高效。可按企业业务场景和数据粒度进行取舍，没有最好，只有最适合。

4 OLAP数据库选型

4.1 概述

在大数据数仓架构中，离线以Hive为主，实时计算一般是Spark+Flink配合，消息队列Kafka一家独大，后起之秀Pulsar想要做出超越难度很大，Hbase、Redis和MySQL都在特定场景下有一席之地。唯独在OLAP领域，百家争鸣，各有所长。

OLAP引擎/工具/数据库，技术选型可有很多选择，传统公司大多以Congos、Oracle、MicroStrategy等OLAP产品，互联网公司则普遍强势拥抱开源，如

Presto，Druid ，Impala，SparkSQL，AnalyticDB，(Hbase)Phoenix，kudu， Kylin，Greenplum，Clickhouse, Hawq, Drill，ES等

在数据架构时，可以说目前没有一个引擎能在数据量，灵活程度和性能上（吞吐和并发）做到完美，用户需要根据自己的业务场景进行选型。

开源技术选型，MOLAP可选Kylin、Druid，ROLAP可选Presto、impala等

4.2 Presto

4.2.1 概述

Presto 是由 Facebook 开源的大数据分布式 SQL 查询引擎，基于内存的低延迟高并发并行计算（MPP），适用于交互式分析查询。

首先我们先来看一下Presto官方的介绍：
在这里插入图片描述
Preso特点：

  • 本身并不存储数据，但是可以接入多种数据源，包括Hive、RDBMS（Mysql、Oracle、Tidb等）、Kafka、MongoDB、Redis等

  • 完全支持ANSI SQL标准，用户可以直接使用 ANSI SQL 进行数据查询和计算

  • 可以混合多个catalog进行join查询和计算，支持跨数据源的级联查询

  • 基于PipeLine进行设计的，流水管道式数据处理，支持数据规模GB~PB，计算中拿出一部分放在内存、计算、抛出、再拿。

  • SQL on Hadoop：弥补Hive的效率性能和灵活性的不足，Presto和Spark SQL、Impala有很多异曲同工之处。

4.2.2 presto架构（master+slaver模式）

在这里插入图片描述

4.2.3 Presto应用场景

在这里插入图片描述
很适合多表Join、跨数据源join等

4.3 Druid

4.3.1 概述

Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，用于解决如何在大规模数据集下进行快速的、交互式的查询和分析。

数据可以实时摄入，进入到Druid后立即可查，同时数据是几乎是不可变。通常是基于时序的事实事件，事实发生后进入Druid，外部系统就可以对该事实进行查询。

Druid基于Java编写，项目地址Github-Druid。

4.3.2 架构

在这里插入图片描述

4.3.3 基本特点

Apache Druid 具有以下特点：

  • 亚秒级 OLAP 查询，包括多维过滤、Ad-hoc 的属性分组、快速聚合数据等等。

  • 实时的数据消费，真正做到数据摄入实时、查询结果实时。

  • 高效的多租户能力，最高可以做到几千用户同时在线查询。

  • 扩展性强，支持 PB 级数据、千亿级事件快速处理，支持每秒数千查询并发。

  • 极高的高可用保障，支持滚动升级。

4.3.4 应用场景

实时数据分析是 Apache Druid 最典型的使用场景。该场景涵盖的面很广，例如：

  • 实时指标监控

  • 推荐模型

  • 广告平台

  • 搜索模型

4.3.5 不适用场景

Druid也有很多不足需要注意，由于druid属于时间存储，删除操作比较繁琐，且不支持查询条件删除数据，只能根据时间范围删除数据。Druid能接受的数据的格式相对简单，比如不能处理嵌套结构的数据。

  • 无 Join 操作
    Druid 适合处理星型模型的数据，不支持关联操作。
  • 数据没有 update 更新操作，只对 segment 粒度进行覆盖
    由于时序化数据的特点，Druid 不支持数据的更新。

4.3.6 Druid案例

知乎：技术选型上，知乎根据不同业务场景选择了HBase 和 Redis 作为实时指标的存储引擎，在OLAP选型上，知乎选择了Druid。

在这里插入图片描述

OPPO：而OPPO根据自身不同的业务场景，报表层选择了Druid，标签选择了ES，接口层选择了Hbase。
在这里插入图片描述

4.4 Kylin

4.4.1 概述

Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

4.4.2 架构

在这里插入图片描述

4.4.3 kylin特性

在这里插入图片描述

  • 可扩展超快olap引擎，Hadoop/Spark上百亿数据规模

  • 提供 Hadoop ANSI SQL 接口

  • 交互式查询能力，用户可以与Hadoop数据进行亚秒级交互

  • 百亿以上数据集构建多维立方体（MOLAP CUBE）

  • 与BI工具无缝整合，如Tableau，PowerBI/Excel，MSTR，QlikSense，Hue和SuperSet

在这里插入图片描述

4.4.4 适用场景

在这里插入图片描述

4.5 Clickhouse

4.5.1 概述

Clickhouse是一个用于在线分析处理（OLAP）的列式数据库管理系统（DBMS）。

是由俄罗斯的Yandex公司为了Yandex Metrica网络分析服务而开发。它支持分析实时更新的数据，Clickhouse以高性能著称。

先看一下官方定义：
在这里插入图片描述
ClickHouse is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).

有兴趣的同学可参考这篇文章练习上手：

4.5.2 使用场景

在这里插入图片描述
ClickHouse开源的出现让许多想做大数据并且想做大数据分析的很多公司和企业耳目一新。ClickHouse 正是以不依赖Hadoop 生态、安装和维护简单、查询速度快、可以支持SQL等特点在大数据分析领域披荆斩棘越走越远。

4.5.3 不适用场景

在这里插入图片描述

4.5.4 更多文档

5 对比

在这里插入图片描述
在这里插入图片描述

迷路剑客
关注
专栏目录
数仓建模—OLTP 和 OLAP
06-15 4万+
在国内，不论传统公司还是互联网公司，都开始利用OLAP技术分析挖掘大数据的价值，国内除BAT等大厂会自研OLAP产品外，其他中小互联网公司普遍拥抱开源，会使用Kylin、Presto、impala、Druid和Greenplum等开源技术来实现OLAP分析查询业务。在调研了市面上主流的开源OLAP引擎后发现，目前还没有一个系统能够满足各种场景的查询需求。其本质原因是，没有一个系统能同时在数据量、性能、和灵活性三个方面做到完美，每个系统在设计时都需要在这三者间做出取舍。
数仓OLAP(一)--即席查询 Kylin
.
07-17 1385
1 Kylin 定义 Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口 及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay Inc 开发并贡献至开源社区。 它能在亚秒内查询巨大的 Hive 表。 Kylin 架构 1）REST Server REST Server 是一套面向应用程序开发的入口点，旨在实现针对 Kylin 平台的应用开发 工作。 此类应用程序可以提供查询、获取结果、触发 cube 构建任...
multipartfile 前端怎么传_使用MultipartFile上传文件
热门推荐
weixin_39843847的博客
12-20 1万+
转载地址：https://www.cnblogs.com/lunaticcoder/p/9813483.html(具体的看这个这个大佬的博客)依赖包:commons-iocommons-io2.5commons-fileuploadcommons-fileupload1.2.2前端在提交的时候也需要修改.form表单提交默认是application/x-www-form-urlencoded而上传...
PHP与JSON的一些常用操作
HelloWorld
09-30 2041
PHP把数据写入JSON文件 <?php // 生成一个PHP数组 $data = array (); $data ["fruit"] = "apple" ; $data ["animal"] = "tiget"; // 把PHP数组转成JSON字符串,写入文件 $json_string = json_encode( $data ); ?> PHP读取JSON数据? <?php // 从文件中读取数据到PHP变量 $str = file_get_contents ( 'one
Java BitMap
qq_33766294的博客
09-18 862
Java 实现BitMap
multipartfile 前端怎么传_微前端设计理念与实践
weixin_42588555的博客
12-30 1935
一、微前端后端微服务已经流行很久了，这块相关的内容就不做介绍了。说到微前端，其实微前端和微服务的设计理念大致一样，都是希望将某个单一的单体应用，转化为多个可以独立运行、独立开发、独立部署、独立维护的服务或者应用的聚合，从而满足业务快速变化及分布式多团队并行开发的需求。二、iFrame看这需求，最先想到的必然是 iFrame了，iFrame 可以创建一个全新的独立的宿主环境，iFrame ...
解析数仓OLAP函数：ROLLUP、CUBE、GROUPING SETS
m0_56069948的博客
04-27 314
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 **摘要：**GaussDB(DWS) ROLLUP，CUBE，GROUPING SETS等OLAP函数的原理解析。 本文分享自华为云社区《GaussDB(DWS)
实时数仓|你需要的是一款强大的OLAP引擎
01-27
在开源盛世的今天，实时数仓的建设业界已经有了成熟的方案。技术选型上实时计算、消息队列都有最优解，唯独在 OLAP领域，百家争鸣，各有所长。 大数据领域开源OLAP引擎包括不限于Hive、Hawq、Presto、Kylin、Impala...
大数据OLAP技术体系学习框架
Lansonli（蓝深李）的博客
10-10 2151
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的上面这些看似没用，但实际很重要，这里就不再具体说明，感兴趣的同学可以看看我的学习框架的重要性我是怎么坚持学习的怎么确定学习目标本栏目为缺少OLAP技术体系的同学全面整理的体系学习知识，内容是按不同的技术体系整理的，带你丰富大数据OLAP技术知识体系，想学会就得自律加坚持，赶快行动吧。
箱线图怎么判断异常值_箱线图
weixin_28771421的博客
12-25 8631
摘自：箱线图_symoriaty的博客-CSDN博客以前对箱线图一直一知半解，这次在网上找到一篇不错的文章。首先，箱形图更多用于多组数据的比较，相对直方图不仅节省了空间，还可以展示出许多直方图不能展示的信息。单组数据则更适合采用直方图，使可视化效果更加直观。文章来源于“镝次元”公众号，在此向作者表示感谢。不会数学统计没关系——5分钟教你轻松掌握箱线图 | 图表家族#24箱线图也称箱须图、箱形图、盒...
Java 捕获跟抛出异常
qq_44730435的博客
10-17 394
捕获异常 try catch finally public static void main(String[] args) { int a = 1; int b = 0; //假设要不获得多个异常，要按从小到大的顺序 try {//try监控区域 System.out.println(a/b);//快捷键:选中这条语句,Ctrl+Alt+T }catch(ArithmeticExcepti
java实现的BitMap
最新发布
然然然的博客
08-22 297
java bitmap
两地三中心部署
weixin_42241611的博客
07-20 2944
两地三中心架构，即生产数据中心、同城灾备中心、异地灾备中心的高可用容灾方案。在这种模式下，两个城市的三个数据中心互联互通，如果一个数据中心发生故障或灾难，其他数据中心可以正常运行并对关键业务或全部业务实现接管。相比同城多中心方案，两地三中心具有跨城级高可用能力，可以应对城市级自然灾害。TiDB分布式数据库通过Raft算法原生支持两地三中心架构的建设，并保证数据库集群数据的一致性和高可用性。...
箱线图怎么判断异常值_Python:异常值检测
weixin_39654436的博客
12-30 7382
第一步：读入数据原始数据中有一些缺失值。第二步：使用均值填充缺失值具体解释，参考：Cara：Python练习：数据缺失值处理​zhuanlan.zhihu.com第三步：异常值识别方法一：箱线图由图可见，sciencescore、englishscore这两列存在离群点。箱线图判断异常的的规则如下：参考：https://blog.csdn.net/qq_38121967/article/detai...
python中如何将一个文件的内容分开写到另外两个文件中
weixin_44305115的博客
10-22 2219
目的如题，原先的数据格式如下：每一行代表一个数据，第一类为标签，后面的列表为数据，因为这是原始数据，我现在想要把标签和数据分别存到不同的文件中去。 代码如下： data_path = './train1.txt' with open(data_path,'r',encoding='utf-8') as file1,\ open('train_label.txt','w',encoding='utf-8') as file2,\ open('train_data.txt','w',encod
python收集数据程序_用一行Python代码进行数据收集探索！Python真牛逼！
weixin_39614637的博客
11-28 425
简易的Pandas之路任何使用P ython数据的人都会熟悉Pandas包。P andas是大多数行和列格式数据的go-to包。 如果你没有Pandas，请确保在终端中使用pip install安装：pip install pandas现在，让我们看看Pandas包中的默认方法可以做些什么：以下内容写给不知道上面发生了什么的新手：任何Pandas数据帧都有一个 .descripe（） 返回上面的输...
java实现BitMap
weixin_30764771的博客
03-04 196
package bitmap; public class BitMap { private byte[] bytes; public BitMap(byte[] bytes) { super(); this.bytes = bytes; } public BitMap() { super(); } public BitMap(int size) { su...
实时数仓的OLAP引擎选择：对比与分析
总而言之，实时数仓的建设不仅依赖于强大的OLAP引擎，还需要结合业务场景、技术栈和未来发展的前瞻性规划。通过深入理解各种OLAP引擎的优缺点，开发者可以更好地构建出满足实时分析需求的高效数据仓库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值