1.即席查询和固化查询
即席查询:指用户通过手写SQL来完成一些临时的数据分析需求。这类需求的SQL形式多变、逻辑复杂,对响应时间没有严格的要求。
固化查询:指对一些固化下来的取数、看数的需求,通过数据产品的形式提供给用户,从而提高数据分析和运营的效率。这类需求的SQL有固定的模式,对响应时间有比较高的要求 。
2.百度palo介绍
参考资料
https://blog.csdn.net/yixiufengdelei/article/details/104281906
https://www.sohu.com/a/164821370_470008
Palo 的列式存储带来的高效压缩和高查询性能。Palo 从产品设计之初就不是为了追求高性能去做的,这一点在 GitHub 页面的 Overview 里也有体现。Palo 更多的是追求系统的设计简单和使用简单,当然前提是能满足性能的要求。
- 产品定位
MPP 架构的关系型分析数据库:mpp(Massively Parallel Processor)大规模并行处理
PB 级别大数据集,秒级/毫秒级查询
主要用于多维分析和报表查询
PB级别的MPP数据仓库服务,以较低的成本提供在大数据集上的高性能分析和报表查询功能。
- Palo应用场景
Palo 最擅长报表、多维分析,而离线系统对 ad-hoc 的分析是比较有优势的
Palo 的主要应用场景就是那些进行在线聚合分析的各类报表和多维分析,同时也支持分钟级别的数据小批量导入
Palo 专注于小批量导入,废弃了实时导入,主要是为了解决导入原子性和一致性的需求,比如同时导入两张表,可以做到要么全部导入成功,要么都导入不成功。同时小批量导入大大增强了系统的导入性能。
- Palo不依赖额外的系统
Impala+HBase+HDFS,还有 Kylin(依赖 HBase 和 Hive),这些系统的性能暂且不提,主要是依赖很多其它系统,部署维护都很成问题。palo独立运行
- Palo与其他分析性数据库的区别和优势
这篇文章里有介绍 https://www.sohu.com/a/164821370_470008
3. 分析性数据库选型参考指标
易用性
高可用
易扩展
最新技术(软、硬件)的使用
4. Mesa - 谷歌近实时分析型数据仓库
https://blog.csdn.net/colorant/article/details/50788229