OLAP专业术语及资料总结

1.即席查询和固化查询

即席查询:指用户通过手写SQL来完成一些临时的数据分析需求。这类需求的SQL形式多变、逻辑复杂,对响应时间没有严格的要求。

固化查询:指对一些固化下来的取数、看数的需求,通过数据产品的形式提供给用户,从而提高数据分析和运营的效率。这类需求的SQL有固定的模式,对响应时间有比较高的要求 。

 


2.百度palo介绍

参考资料

https://blog.csdn.net/yixiufengdelei/article/details/104281906

https://www.sohu.com/a/164821370_470008

 Palo 的列式存储带来的高效压缩和高查询性能。Palo 从产品设计之初就不是为了追求高性能去做的,这一点在 GitHub 页面的 Overview 里也有体现。Palo 更多的是追求系统的设计简单和使用简单,当然前提是能满足性能的要求。

  • 产品定位

MPP 架构的关系型分析数据库:mpp(Massively Parallel Processor)大规模并行处理

PB 级别大数据集,秒级/毫秒级查询

主要用于多维分析和报表查询

PB级别的MPP数据仓库服务,以较低的成本提供在大数据集上的高性能分析和报表查询功能。

 

  • Palo应用场景

Palo 最擅长报表、多维分析,而离线系统对 ad-hoc 的分析是比较有优势的
Palo 的主要应用场景就是那些进行在线聚合分析的各类报表和多维分析,同时也支持分钟级别的数据小批量导入
Palo 专注于小批量导入,废弃了实时导入,主要是为了解决导入原子性和一致性的需求,比如同时导入两张表,可以做到要么全部导入成功,要么都导入不成功。同时小批量导入大大增强了系统的导入性能。

  • Palo不依赖额外的系统

Impala+HBase+HDFS,还有 Kylin(依赖 HBase 和 Hive),这些系统的性能暂且不提,主要是依赖很多其它系统,部署维护都很成问题。palo独立运行

  • Palo与其他分析性数据库的区别和优势

这篇文章里有介绍 https://www.sohu.com/a/164821370_470008

 


3. 分析性数据库选型参考指标

易用性

高可用

易扩展

最新技术(软、硬件)的使用

 


4. Mesa - 谷歌近实时分析型数据仓库

https://blog.csdn.net/colorant/article/details/50788229

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值